爬虫架构设计

本文主要介绍爬虫系统的架构，具体的爬取细节和所使用的语言均可以自由选择。php 如下是我从网上截取的一位前辈提炼的，对于爬虫系统的要求，我以为颇有道理。java 个人设计尽可能依据以上七条原则。python 首先我以为一个完整爬虫系统应该包括三个子系统：页面爬取系统，内容入库系统，内容管理系统。mysql 三个系统之间必须低耦合，以实现分布式和可伸缩性的要求。redis 页面爬取系统负责从第三方页

>>阅读原文<<