抓取代理IP

写脚本从指定网站抓取数据的时候，免不了会被网站屏蔽IP。因此呢，就须要有一些IP代理。随便在网上找了一个提供免费IP的网站西刺作IP抓取。本次实践抓取的是其提供的国内匿名代理。能够打开网站查看一下源码，咱们须要的内容在一个table区域内，经过BS4能很容易提取须要的信息。html Step 1：HTML页面获取 观察能够发现有咱们须要的信息的页面url有下面的规律：www.xicidaili.c

>>阅读原文<<