使用selenium爬取淘宝商品

爬取的页面是:“https://s.taobao.com/search?q=手机”,这个是淘宝搜索手机时候的网址。 爬取的思路:使用selenium来模拟登录淘宝,而后爬取这一页中商品的一些信息;爬取完之后,找到输入页面的输入框,依次输入下一页的页码,好比刚刚爬的是第一页,就输入2,再点击肯定按钮,以此类推,就能够实现翻页的功能。其中须要屡次使用WebDriverWait,来保证须要爬取的内容出现
相关文章
相关标签/搜索