Scrapy抓取Ajax动态页面

（转载）http://www.jianshu.com/p/1e35bcb1cf21javascript 通常来讲爬虫类框架抓取Ajax动态页面都是经过一些第三方的webkit库去手动执行html页面中的js代码， 最后将生产的html代码交给spider分析。本篇文章则是经过浏览器提供的Debug工具分析Ajax页面的具体请求内容，找到获取数据的接口url，直接调用该接口获取数据，省去了引入pyt

>>阅读原文<<