Python爬虫第8课 用Flask+Redis维护代理池

用Flask+Redis维护代理池 01.为什么要用代理池？ 许多网站有专门的反爬虫措施，可能遇到封IP等问题。为了防止这一情况的发生，我们需要用到代理，来帮助我们完成代理。 网上公开了大量的免费代理，大家利用好资源。 通过定期的维护检测同样可以得到多个可用代理。 02.代理池的要求 1、多站抓取，异步检测 从多个网站上抓取我们所用的代理，利用异步检测的方式，让它访问某一页面，看是否能用。 2、定

>>阅读原文<<