N0.32——应用Redis搭建爬虫的代理池

        在做爬虫时，如果遇到反爬措施比较严格的网站，会遇到IP被封禁的问题，使用代理可以有效解决这个问题。这样，我们可以花钱在网上购买一些优质代理，同样，还可以在网上爬取一些免费的代理。不管是付费的还是免费的，同一个代理可能有多个人同时使用，所以不能保证每个代理都是有效的，基于此目的，我们可以维护一个维护一个代理池，提前把可用代理筛选出来，同时把不可用代理剔除掉，将可用代理保留下来。  

>>阅读原文<<