基于Tornado和Scrapy的开源高性能代理池

图片瞎放一个先（doge 前段时间在写爬虫，研究了一下Github排名靠前的免费代理池，都不太喜欢，就自己写了一个，结合了异步框架Tornado和Scrapy，目前支持的特性有： 设定数目，持续从网上爬取新的免费代理，检测可用后存入本地数据库 完全异步，支持高并发（从免费的前提下去衡量……） 通过调用HTTP API来获取代理，后面有时间会增加前端控制页面 周期性自检，更新可用代理 项目地址在这里

>>阅读原文<<