关于网站是否会封代理IP的验证

最近在学习爬虫，总是会遇到各种各样问题，感受到网站深深的恶意。最近又遇到一个瓶颈。由于使用自己的IP爬取数据IP会被封，所以采用代理IP来爬数据。理论上可行的方法实际操作起来却并不是总能成功爬到数据。由于使用的是免费代理IP，这种IP可以很容易在代理IP网站找到，所以一些网站可能也会对这些免费代理采取一系列的反爬措施。所以验证一下这些免费代理IP能不能进入你要爬取的网页。 在西刺随便找了一个高匿代

>>阅读原文<<