爬虫-京东商品搜索页爬取

难点： 1，京东首次搜索只展示30条数据，这个可以直接在源代码取到，但是也要注意不同页面抓取规则可能不一样（页面结构有变化需要判断） 2，继续下拉可以在ajax获取到另外30条数据，但是这个requests提交需要各种参数，很麻烦，我这暂时没有找到自动填写的方法，只能根据搜索需求人工改写下 解析页面信息有好多坑，比如有的价格不全，同一个页面需要解析的规则就不一样 ajax参数，headers的pa

>>阅读原文<<