爬虫系统的设计

爬虫系统的组成部分 爬虫的组件 下载任务 解析任务 检测任务 调度中心 任务队列 数据仓库 代理任务 从上面的图片中可以清晰的看出整个爬虫系统 在单机的状态是如何工作的，其实整个系统看起来就是消费者和生产者的关系，所以需要一个装载任务的容器，那么这个容器要有基本的要求：断点续传，能够在项目意外暂停的时候，保存未消费的任务状态，记录已经消费的任务状态，这样当项目重启的时候，能够加载未消费的任务然后继

>>阅读原文<<