爬虫之代理池维护

前言

作过爬虫的应该都知道,在爬取反爬比较强的网站若是同一时间获取的数据量过大就会致使封IP,例如豆瓣,搜狗之类的。那么咱们咱们的策略就是搭建本身的代理池，Cookie池，使得爬虫更像是普通用户在操做同样以此来解决目标网站封IP的问题。在网上有大量公开的免费代理，若是经济基础能够的话，咱们也能够购买付费的代理IP，用过的人也应该知道，不管是免费的仍是付费的，其实都不能保证是可用的，由于可能此IP也会被其余人用来爬取一样的目标站点而封禁，或者代理服务器忽然发生故障或网络繁忙。一旦咱们选用了一个不可用的代理，这势必会影响爬虫的工做效率。因此咱们须要提早作筛选，将不可用的代理剔除掉，从而保留可用的代理。小编今天就给你们带来如何搭建一个高效易用的代理池。

准备工做

首先须要成功安装Redis数据库并启动服务，另外还须要安装aiohttp、request、redis-py、pyquery、Flask库，Redis安装能够参见百度。

代理池的目标

咱们须要作到下面的几个目标，来实现易用高效的代理池

基本模块分为4块：存储模块，获取模块，检测模块，接口模块。

存储模块：负责存储抓取下来的代理。首先要保证代理不重复，要标识代理的可用状况，还有动态实时处理每一个代理，因此一种比较高效和方便的存储方式就是使用Redis的Sorted

Set，即有序集合。，存储模块同时也是4个模块中的中心模块和基础模块，将其余模块串联起来。

获取模块：须要定时在各大代理网站抓取代理。代理能够是免费公开代理也能够是付费代理，代理的形式都是IP加端口，此模块尽可能从不一样来源获取，尽可能抓取高匿代理，抓取成功以后将可用代理保存到数据库中。

检测模块：须要定时检测数据库中的代理。这里须要设置一个检测连接，最好是爬取那个网站就检测那个网站，这样更加有针对性，若是要作一个通用型的代理，那能够设置百度等连接来检测。另外，咱们须要标识每个代理的状态，如设置分数标识，10分表示可用，分数越少表明越不可用。检测一次，若是代理可用，咱们能够将分数标识当即设置为满分10分，或者在原来的基础上加1分；若是代理不可用，能够将分数标识减1分，当分数减到必定阀值后，代理就直接从数据库移除，经过这样的标识分数，咱们就能够辨别代理的可用状况，选用的时候会更有针对性。

接口模块：须要用API来提供对外服务的接口。其实咱们能够直接链接数据库来取对应的数据，可是这样就须要知道数据库的链接信息，而且要配置链接，而比较安全和方便的方式就是提供一个Web API接口，咱们经过访问接口便可拿到可用代理。另外，因为可用代理可能有多个，那么咱们能够设置一个随机返回某个可用代理的接口，这样就能保证每一个可用代理均可以取到，实现负载均衡。

设计思路已经很明确了，如今咱们就用代码来实现代理池。

首先是存储模块，咱们须要定义一个类来操做数据库的有序集合，定义一些方法来实现分数的设置、代理的获取等。核心代码以下：

其次是获取模块，获取模块的逻辑相对简单，只须要写一个爬虫来从各大网站抓取代理就能够了。核心代码以下：

方便起见，咱们将获取代理的每一个方法统必定义为crawl开头，这样扩展的时候只须要添加crawl开头的方法便可。这里实现了几个示例，爬取的大都是网上的免费网站，还有小白购买的付费代理（如今已经不能用了），若是你有本身的付费代理，也只须要添加到里面便可。每一个代理方法都定义成了生成器，经过yeild返回一个个代理。程序首先获取网页，而后用解析库进行解析，解析出IP加端口的形式而后返回。

而后定义了一个get_proxies()方法，将全部的以crawl开头的方法调用一遍，获取每一个方法返回的代理并组合成列表形式返回。这里咱们用元类来实现这个方法。代码以下：

最后定义了一个Getter类，用来动态的调用全部以crawl开头的方法，而后获取抓到的代理，将其加入到数据库存储起来：

咱们已经成功的将各个网站的代理获取下来了，如今就须要检测模块来对全部代理进行多轮检测。代理检测可用，分数就设置为10，不可用就丢弃或者减1，这样就能够实时改变每一个代理的可用状况。如要获取有效代理只须要获取分数高的代理便可。因为代理的数量很是多。为了提升检测效率，咱们在这里使用了异步请求库aiohttp来进行检测。

为了方便的获取代理和使代理池能够做为一个独立服务运行，咱们增长了一个接口模块，并以Web API的形式暴露可用代理。

最后经过调度模块调用调用以上模块以多线程方式运行起来。

最后咱们运行一下

再打开浏览器配置的API接口 http://127.0.0.1:5555，便可看到其首页。

再访问http://127.0.0.1:5555/random，便可获取随机可用代理。

到此咱们的代理池就已经搭建成功了。有了代理池，爬虫就会方便许多。另外小编建议若是搭建本身的代理池，最好是选择付费代理。毕竟稳定性高一些。网上的免费代理在爬取某些网站仍是比较吃力。

读者若是有须要ADSL代理池搭建的思路，能够在公众号后台留言。后续会给出Cookie池搭建的方案。

完整代码地址获取可在公众号后台回复【代理池】得到

对爬虫，数据分析，算法感兴趣的朋友们，能够加微信公众号 TWcoding，咱们一块儿玩转Python。

If it works for you.Please,star.

自助者,天助之