python爬取京东商品信息

本文使用python爬虫，采集京东的商品信息。因为京东的搜索页面采用二次加载技术，即载入时只加载30条商品信息，余下30条须要下拉页面到底部再载入。因此为了完整的获取到商品信息，本文采用了进程池、selenium + phantomjs 想结合的方式来拿到京东的搜索页面，而后使用lxml模块获取所需的商品详细信息，并将获取到的数据存入mysql数据库中。html 一  工具及使用到的模块pytho

>>阅读原文<<