影响最深的BUG

最近遇到一个bug,就是在爬虫进入一个网站的时候,被拦截,返回400的错误,可是正经常使用浏览器打开就没有问题,后来查询发现,流量较大的服务器会检测你的get请求里面的一些header,好比浏览器什么信息,为了防止恶意的爬虫。因此须要本身假装成浏览器的get请求,具体代码以下html req = urllib.request.Request(url, headers = { 'Connec
相关文章
相关标签/搜索