使用selenium和pyquery来爬取淘宝ipad商品信息

使用selenium爬取淘宝ipad商品信息 爬取过程中的重点是实现翻页、提取商品信息、存储至数据库 访问淘宝 爬取过程中可以通过扫描二维码的方式来登陆淘宝，要注意的是访问不能过于频繁，否则ip会被限制访问。 防止ip被限制访问可以通过使用代理，或者降低访问的频率 1.获取商品的总页数 检查其html源码 可通过CSS选择器来选取总页数，进而获取其总页数 代码如下： def search(url)

>>阅读原文<<