断网大法发现隐藏网页上请求

在使用python进行网站数据爬取时，有时会遇到须要爬取图表数据，这些图表数据可能不是经过http请求返回，而是经过WebSockets协议返回数据。

须要爬取的图表数据

在Chrome浏览器中按F12能够观察到：

在XHR 页面中没有请求

经过WS观察

虽然经过WS能够看到有请求发出，但有些参数并非很好拼出来。并且用python也不是很好编写Socket的代码。

• 我无心间发现能够经过断开网络，而后操做页面，会在XHR页面中出现红色的请求：
  

经过python请求这些连接，返回的数据跟Sockets中请求返回的数据是同样的！