高可用分布式代理池:架构篇

历时大致两个月，到现在终于完成了分布式代理抓取爬虫，目前开源在了Github上。写这个项目的原因主要有两点，一是自己平时的部分工作需要和爬虫打交道，代理IP在有的时候可以发挥非常重要的作用，调研过一些开源的代理IP采集程序，发现在抓取、解析、校验、资源调度等这些方面总有一些不尽人意的地方；二是和一个网友（不严格的说算得上是伯乐）的交流让我有了关于使用Scrapy来写分布式爬虫的一些想法，正好可以借

>>阅读原文<<