python爬虫代理池,不再怕封IP了

思路:html 先在从网上爬取一个代理列表,作代理池,并保存在本地http_list.txt和https_list.txt中,而后从中随机池取出一个ip作代理。python 本代码是从用webdriver模拟chrome浏览器web http://www.xicidaili.com/上爬取的代理的(由于这个网站有发爬虫,就直接用webdriver快速搞定,这么一个小网站,就懒得去研究它的反爬了)。
相关文章
相关标签/搜索