scrapy selenium爬取淘宝商品信息并存储到数据库

主要内容，官网首页selenium模拟发送搜索关键字，搜索页获取商品链接并进行翻页爬取，其中商品详情页有不同类型的页面，进行不同的抓取方法，处理抓取数据并进行保存。 scrapy.spiders代码如下： import scrapy from scrapy import Request from TaoBao.items import TaobaoItem import re class Exam

>>阅读原文<<