爬取Boss直聘拿下来的假数据

下面是我在爬取BOSS直聘时遇到的,给个人公司都是假数据,缘由是由于没有及时更换代理ip被识别出来是爬虫了,其实解决这种问题最好的办法就是更换代理Ip和更换请求头html 在更换代理和请求头以后,没有出现访问错误的问题了web 更换完了以后又出现重定向的问题,如图scrapy 2019-08-12 21:51:39 [scrapy.middleware] INFO: Enabled item pi
相关文章
相关标签/搜索