python反爬虫解决方法——模拟浏览器上网

之前第一次练习爬虫的时候看网上的代码有些会设置headers，然后后面的东西我又看不懂，今天终于知道了原来这东西是用来模拟浏览器上网用的，因为有些网站会设置反爬虫机制，所以如果要获取内容的话，需要使用浏览器上网才可以。 获取headers的方法很简单，首先打开审查元素界面，有个Network选项，点进去会显示如下： 接下来刷新一下： 点击第一个5151757后右边会显示Headers选项，我们所需

>>阅读原文<<