天猫商品爬虫升级小记

天猫的数据很多人想爬，商品价格当然更多人想要了。所以天猫就做了很多防止采集的措施，这里面主要有一个问题，部分商品属性采用js脚本，从后台地址加载，但是后台地址不给你访问。其实这就是淘宝的限制措施。 解决方法当然是有的，先是pc端，后来h5，在后来app,各种方法无所不用其极,任何困难都难不倒一个万能的码农,搞了几天成功搞到app接口，到目前为止爬虫程序已经稳定运行了N个多月，单台服务器日采集商品数

>>阅读原文<<