关于爬取异步加载的页面

        在爬取网站时常遇到异步加载的情况，必须点击或者下拉滚动条才会加载出更多的图片或视频，在源码中却一片空白，我一开始遇到时候也有点懵，了解了就好，还是请求。学过一些前端知识的朋友都清楚其实就是ajax异步加载js，这是为了提高用户的体验，许多网站都使用这种方法。         究其根本，其实就是将这部分请求放在了后台，查看的话，按F12然后F5刷新页面，在Network标签下都会显示

>>阅读原文<<