爬虫应对IP封禁的一般性处理方法

** 封IP目前是很多网站常用的反爬虫手段，为了让广大爬虫少走弯路，本文整理了几种可行的封IP应对方法 ** 1.通过设置Http请求头直接绕过 某些网站，由于网站开发者或者管理员安全意识不够，通过设置X-Forwarded-For头可以伪造任意IP。以IP138为例 如上图所示，通过修改X-Forwarded-For标头的值，可以任意伪造请求ip，配合随机IP使用，效果很好。但是目前存在此类漏洞

>>阅读原文<<