爬虫获取ajax异步请求的html内容

使用爬虫时有时会发现浏览器中看到的html内容在程序get()的结果中看不到，这是因为页面中使用了ajax技术，即在加载页面时不一次性发出所有内容，浏览器收到第一次发出的页面内容后运行其中的程序，再向服务器请求部分内容构成完整页面，用爬虫只能得到第一次发出的html，导致无法得到所需内容。 此处::befer和::after之间的部分在使用爬虫的get()方法得到的html中看不到，因为这是异步加

>>阅读原文<<