python爬虫之代理池的维护

代理池的维护 1.原因： 网上有大量公开的免费代理和付费代理，但无论是哪种代理，我们都不能保证是可用的，因为可能有各种原因导致代理不可用，这肯定会影响爬虫的效率，所以我们需要提前做筛选，将不可用的代理删除掉，保留可用代理，所以我们需要搭建一个高效的代理池 2代理池基本模架构： 存储模块： 负责存储抓取下来的代理，保证代理不重复，标识代理的可用情况，动态实时处理每个代理，采用Redis的Sorted

>>阅读原文<<