关于webmagic爬取Ajax中post请求详解

webMagic爬取Ajax中post请求详解 由于项目需求，需要在某电商网站上爬取一些商品数据，由于初次接触webMagic所以难免碰到了一些坑，在这里与大家分享一下。 1.对于静态html的数据爬取，我就不做详细介绍，因为获取不到真正有用的数据。 2.目前前端页面大多是js和Ajax渲染，增加了爬取难度，最开始参考别人的post带参请求并没有出现想要的数据，具体的核心代码（无效实例）如下： @

>>阅读原文<<