爬虫_处理js动态加载

 

一、selenium模块下载网页提取url，【煎蛋网】

http://www.javashuo.com/article/p-rweohlor-dc.html

 

二、该网页加密了url，经过js获取图片。分析网页，解码出真实url，scrapy下载【煎蛋网】

http://www.javashuo.com/article/p-rweohlor-dc.html

分析过程http://www.javashuo.com/article/p-masccgvj-ms.html

 

三、该网页经过js发送请求，二次获取图片url。经过浏览器审查元素，获取相关交互数据。

https://blog.csdn.net/cxylvping/article/details/80624130