Python实现代理池

问题起源: 最近在研究Python爬虫, 爬虫天然少不了代理, 所以本身动手整理了一个代理池, 用的Free的代理, 所以用了多线程加快了爬取速度, 在这里大致记录一下. 技术栈: Python、Django、Celery 大致思路： 找到免费的代理网站，而后获取一些Free的代理地址，而后验证有效性，保存到数据库，暂时尚未分布式爬虫的需求，所以对于代理数量需求不大，所以本项目对于大数据支持并不完

>>阅读原文<<