随着如今对数据的重视程度愈来愈高,如今各大网站都增强了反爬技术,好比本文中js加密html
url地址:https://www.huanhuanhuishou.com/gujia/22201.htmlnode
须要爬取的数据是最高的回收价格:14760git
通过分析这个数据是ajax发送请求getEvaluateData?goods_id=22201 goods_id是商品的id GET请求github
请求服务器返回的数据是通过加密后的数据ajax
经过对url的监听找到发送请求的ajaxjson
上面的这个jsonCall,封装了ajax请求的方法,将这个文件中对应的js方法拷贝到huanhuan.js中,经过execjs调用node的v8引擎(提早安装node),执行js的代码服务器
最后返回的就是加密后的数据网站
完整的代码在git上:https://github.com/zhongshuiping/-ui