python爬虫之代理池的维护

代理池的维护 1.缘由： 网上有大量公开的免费代理和付费代理，但不管是哪一种代理，咱们都不能保证是可用的，由于可能有各类缘由致使代理不可用，这确定会影响爬虫的效率，因此咱们须要提早作筛选，将不可用的代理删除掉，保留可用代理，因此咱们须要搭建一个高效的代理池html 2代理池基本模架构： 存储模块： 负责存储抓取下来的代理，保证代理不重复，标识代理的可用状况，动态实时处理每一个代理，采用Redis的

>>阅读原文<<