垂直型爬虫架构设计(3)

2019独角兽企业重金招聘Python工程师标准>>>     之前的几篇博文已经大概的说了一些垂直型爬虫的功能,现在简单的介绍一下我所用的爬虫总体框架的设计,涵盖整个爬虫的各个节点.     我所用的爬虫主要分为两个部分,也就是两个节点.    主节点与爬虫节点.     ‍主节点‍负责所有的爬虫任务调度工作,包括爬虫任务的分发,爬虫任务的重试等.同时也用于分配抓取任务,对于抓取任务做简单的规划

>>阅读原文<<