解决被西刺代理封ip的问题

网上有不少讲 用 Python 爬取代理 ip 的文章,如此的文章一搜就有一堆,我自个按照相关的教程尝试了下,确实可以抓取到不少 ip。不过在把 ip 保存到本地文件的过程当中,因为保存的格式不美观,我尝试修改代码以改变保存格式,由于在爬取的时候只设置了 Use-Agent,没有设置 proxy,因此在屡次运行爬虫脚本后,最后成功被西刺代理网站封掉了我真实的 ip。这下不再能访问西刺代理的网站了…
相关文章
相关标签/搜索