搭建属于本身的代理ip池

这是个人第六篇原创文章

继上一篇说了反爬虫以后，我说今天这篇文章会搭建一个属于本身的代理ip池，因此，为了避免食言，就写了这篇文章，那好废话很少说，进入正题

1

目标网站

爬取代理ip，这也须要找网页，这就得看看哪一个网页提供这些代理ip了，本人知道了几个免费提供代理ip的网站，以下：

• 无忧代理ip

• 芝麻代理ip

• 西刺代理ip

• 云连代理ip

我选择了爬取西刺代理的网站。

2

分析网站结构

咱们须要获取的高匿代理，按下F12打开开发者工具

上面咱们要获取的数据是ip地址，端口和类型这三个就能够了，能够看到，这些数据都在一个tr标签里，可是有两个不一样的tr标签，这样能够用正则表达式，利用相隔的html结构先把整个内容匹配下来，再把重要信息匹配下来，最后就把他弄成这个样子{'https': 'https://ip:端口'}存入列表便可，最后就随机获取一个ip，而后能够先判断是否有用，再拿来作你此时项目的代理ip，判断是否用的方法就是随便拿一个百度获取别的网站，加上代理ip发送get请求，看看status_code()的返回码是否是200，便可，就以下面这样

3

代码部分

1.匹配数据，并挑选数据存入列表

2.随机获取ip，并写好ip格式

我这里是把他存入列表，现抓现用，是由于我如今的爬虫项目都是很小的，只须要这些就能够了。

END

以上就是我简单搭建的代理ip池了，等到之后慢慢完善，你能够把他们存入你的数据库，而后要用的时候，就随机拿出来，先看看有没有用，没用的话就删除，有用就拿来用便可。

python电子书：公众号回复pdf

黑马的2017年python零基础教程：公众号回复：黑马

机器学习(里面有优达资源)：公众号回复：机器学习

某课的python入门与进阶课程：公众号回复入门

上一篇文章：今天说说反爬虫与反反爬虫

平常学python

一个专一于python的公众号

本文分享自微信公众号 - 平常学python（daily_learn）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。