Python 爬虫 JD商品-scrapy+requests

 目标站点需求分析

JD商品信息抓取mysql

需求信息字段

 涉及的库

scrapy,sql

requests,re
lxml

获取单页源码

解析单页源码

 

获取总页数

获取商品url

解析商品信息

保存本地文件

保存mysql数据库

 

结果

 

相关文章
相关标签/搜索