比价网站的基础-爬取淘宝的商品信息

淘宝网站，页面上有不少动态加载的AJAX请求，而且不少参数作过加密处理，若是直接分析网页，会很是繁琐，难度极大。本文利用selenium驱动chrome浏览器完成关键字输入、搜索、点击等功能，完成页面的信息的获取，并利用pyquery库进行解析，获取商品信息并将信息存入mongodb。 selenium库的安装已经具体使用方法详见博客http://blog.csdn.net/qq_29186489

>>阅读原文<<