昨天收到公众号粉丝的爬虫需求:css
抓取平台:天猫或者淘宝 爬取对象:某个商品的各分类的价格和库存数
所以花费两天时间抓取完成,基于python3
抓取, flask
可视化页面查看,目前支持网页可视化查看:html
实时监控竞品销量:python
首先在个人 github
上面下载该项目的代码,项目地址为:git
tbtmStoregithub
代码的结构路径为:flask
---static
---bootstrap.min.css
---templates
---htmlWeb.pybootstrap
在当前目录下运行代码浏览器
python3 htmlWeb.py
在浏览器里面打开网址:127.0.0.1:5000 显示以下页面:url
只要在输入框输入商品的 id
便可code
id
的来源为搜索淘宝的商品关键词后,点击进入详情页,能够在 url
中看到所须要的商品的 id
。例如搜索关键词 女装,点击其中一个进入页面:
新页面的 url
中的 id
即为商品惟一的 id
:
即 url
中的 id=586378509246
若是须要基于关键字搜索商品价格等,能够查看以下项目:
爬虫代码不知道怎么写 关注公众号让做者帮你解决