python爬虫---实现项目(二) 分析Ajax请求抓取数据

这次我们来继续深入爬虫数据,有些网页通过请求的html代码不能直接拿到数据,我们所需的数据是通过ajax渲染到页面上去的,这次我们来看看如何分析ajax 我们这次所使用的网络库还是上一节的Requests,结果用到mongodb来存储(需要提前安装pymongo库),开启多线程爬。  分析:有很多网页打开以后,我们得到html源码并不能得到我们想要的数据,这时网站很有可能是通过ajax来加载的数据
相关文章
相关标签/搜索