爬取网站页面与浏览器显示不一致

欲爬取网页链接 scrapy爬虫爬取该页面时的响应如下： 而此时，测试使用requests.get获得网页源代码长度如下： 此网站其他页面也出现上述问题，我按照浏览器的显示情况，用xpath定位的元素节点，再响应中的源代码中查询不到，如下： 将响应中的源代码另存为.htm文件后，再用浏览器打开显示如下： 网页结构完全不一样，最下角看到‘触屏版’字样，点击‘触屏版’后跳转网页与另存打开的网页结构一致

>>阅读原文<<