使用爬虫抓取网站异步加载数据

什么是异步加载？ 向网站进行一次请求，一次只传部分数据。如：有些网页不须要点击下一页，其内容也能够源源不断地加载。 如何发现异步加载？ 一、打开浏览器，右键选择“检查” 二、点击“Network”、“XHR” 这样在网页进行不断下拉的过程当中，显示器会记录所有动做。能够看到不断加载新的页。 如何加载异步数据？ 具体例子： from bs4 import BeautifulSoup import r

>>阅读原文<<