[我的项目]电商价格监控——项目介绍和架构演变

前言

文章介绍并整理了一直在维护的一个小项目：京东价格监控，并详细整理了该项目前先后后几回重构的技术选型，做为一篇总结。

网站介绍

在京东购物时，你是否遇到以下状况：

• 心仪的商品降价了，你却一无所知，等发现后早已断货。
• 你设置了京东自带的降价提醒，结果在降价后好久才收到邮件提醒或者干脆没有提醒，错失抢购良机。
• 网上各类折扣信息，各类折扣网站，却老是不能选择关注指定商品
• 想买手机/电脑/耳机等类别商品，想知道整个京东上手机/电脑/耳机类目实时折扣力度最大的商品。

如今，一个基于python爬虫的实时价格监控网站上线了，你要作的仅仅是打开浏览器，输入：

pricemonitor.online
复制代码

网站功能

一：自定义商品监控

设置商品ID（京东商品编号）和您的预期价格，当商品价格【低于】设定的预期价格后自动发送邮件提醒用户。

二：品类商品订阅

用户订阅某品类后（例如数码大类），该类全部商品中降价幅度大于7折的【自营商品】会被选出并发送邮件提醒用户。

网站架构演变

小白期：Flask+HTML模板+Python脚本

2017年，我当时入门Python语言，学着一步步写网页爬虫，后来接触到了Python后台开发，以后便萌生了作一个与爬虫结合的先后端项目做为练手，最后想到的就是电商商品的爬取。

可是，就算在几年前，信息整合的网站就已经很是多了。国内的商品优惠信息整合网站大可能是以什么值得买、惠惠购物助手等信息流推荐+商品历史价格查看这种方式运营。想要作到有本身的特点，就必须作点不同的。

因而我决定将爬虫做为监控手段，监控商品的实时价格。

实际上，拿京东举例，京东在当时就已经有了本身的降价提醒，但实际效果并很差，主要问题出在时效性上。用自营商品设置价格提醒后，在京东秒杀时不提醒，在正常显示价格调整后每每在3.4个小时后才能收到提醒邮件。

因而，我从单个商品的监控下手，开始了这个小项目（与其说是项目，不如说仅仅是一个小脚本）。

网站需求很简单，整个一代目架构总结以下：

爬虫组件：就是个简单的Python脚本，加上了定时循环。

数据库：采用了最轻量的Sqlite，不须要客户端和服务，单文件保存。

Web端：后台我采用了网上推荐的Flask，前端只套用了HTML模板。 Flask中，涉及到使用Flask-Admin，Flask-Login，Flask-SQLAlchemy，Flask-WTF等组件，搭建了用户注册登陆系统。

爬虫开源：github.com/qqxx6661/Pr…

Flask+HTML开源：github.com/qqxx6661/fl…

从如今的眼光来看，相比于Python中的Django，我认为Flask对于新上手后台的小白来讲，并不能称得上是很好的入门框架。至于我为何这么认为，这就涉及到Flask和Django的区别了，我摘抄一段答案在这里：

Flask

• Flask与关系型数据库的配合使用不弱于Django，而其与NoSQL数据库的配合远远优于Django
• 自由、灵活，可扩展性强，开发时能够结合本身最喜欢用的第三方库
• 适用于小型网站
• 适用于开发web服务的API
• 开发大型网站无压力，但代码架构须要本身设计
• 各方面性能均等于或优于Django
• Flask比Django更加Pythonic，与Python的philosophy更加吻合

Django

• 过重了，灵活和自由度不够高
• Django能开发小应用，但总会有“杀鸡焉用牛刀”的感受
• Django自带的Admin好评如潮
• Django的自带ORM很是优秀
• Django自带的模板引擎
• Django自带ORM也使Django与关系型数据库耦合度太高，若是想使用MongoDB等NoSQL数据，须要选取合适的第三方库
• Django很是适合企业级网站的开发：快速、靠谱、稳定
• Django上手也比较容易，开发文档详细、完善，相关资料丰富
• Django目前支持Jinja等非官方模板引擎

我认为对于小白来讲，能够先熟悉Django，我以为：

• Flask其实和Spring（或者说Springboot）有殊途同归之妙，二者依靠官方的第一方库和网络上的第三方库，来构建一个完整的系统。对于新手来讲，跟着教程上手，很容易在各类库的组装中迷失了本身，各类兼容冲突，各类版本匹配，都会让新手摸不到头脑。我也深受其害，两个月以后我再拾起代码，对于以前是如何将各个库进行整合的，忘得一干二净。
• Django虽然重，但胜在能让小白对各个系统（管理后台，用户系统，登陆注册，邮箱验证，数据库ORM等）都有直观且实际的概念，知道各个系统在一个web项目中应该发挥的做用。

若是让我推荐纯小白开始学Python后台开发，我会建议他从Django开始，在深刻去了解Flask。

说回个人网站，网站初步上线后，我在本身的博客上还有Github上作了些宣传。陆续天天都有几我的来访问个人网站，也有在Github上提Issue提建议的。不得不说，正是这些小事让我看到了项目的活力，让我也拥有了更大的编码热情。

但因为学校的科研任务紧，这个项目在搭建好后，就进入了漫长的维护阶段，在这个阶段中，除了几回爬虫规则的从新设计外，并无其余业务上的改进。

过渡期：Django+Bootstrap+Scrapy爬虫框架+代理池

大概半年后，我从新拾了起来，此时已经有一百多个注册用户了，虽然天天的使用率并不高，可是也足够让我知足了。本着学习技术的想法，我开始重构网站。

当时流行的比价插件（购物党/惠惠比价）已经开始作商品的价格监控了，而且他们作的是浏览器插件，完美嵌入浏览器，更方便用户使用，个人价格监控还须要独立的网站进行商品登记，显然已经out了。在这期间，我也萌生了品类监控的想法。

这一时期的主要改动有：

• 从Flask转为Django，前端使用Bootstrap代替原生HTML模板
• 采用Scrapy分布式爬虫框架爬取整个品类的商品
• 采用代理池提升总体采集效率

整个二代目架构总结以下：

爬虫组件：从单一的Python脚本改成Scrapy框架爬取。

数据库：使用Mysql做为商品和用户数据库

Web端：Django，Django大而全，使用到了Django自带的后台管理，数据库ORM，登陆验证，Session，邮件等子模块

稳按期：Springboot+React+Scrapy爬虫框架+代理池+任务队列

18年的秋招，对我来讲试一次一场难忘的经历，详情能够看个人秋招文章。秋招我主要是寻找Java后台开发的工做，因此钻研了一段时间的Spring，加之以前的实习经历，开发过实际的SSM项目，对于后台开发，尤为是web后台开发有了更加深入和广阔的认识，。因而，我打算对电商监控网站进行第三次重构，固然，此次的重点主要是用Spring全家桶替代Django。

此外，为了应用先后台分离思想，我找了一个帅哥同窗帮我写React前端，整个项目一会儿就有模有样起来。

这一时期的主要改动有：

• 使用Springboot代替Django做为后台，向前端提供API
• 使用React做为前端，接受JSON数据
• 改用任务队列发送邮件
• 代理池支持免费代理，收费代理
• 免费代理使用Github明星开源项目：github.com/jhao104/pro…

整个三代目架构总结以下：

• web网站：Springboot提供接口+React前端页面

  • Springboot（Api）+ Mysql（用户数据）+ React（前端）
  • 表结构设计、Mybaits、Swagger二、Spring Security + JWT、Spring Cache、跨域、数据库定时备份

• 爬虫：Scrapy分布式爬虫框架

  • Requests/Selenium（爬取）、Mysql（商品信息）、Scrapy + Redis（分布式爬虫）
  • 反爬策略、IP代理、Scrapy自定义中间件、Headless Chrome网页渲染

• 监控：Python脚本+Celery任务队列

  • Supervisor（守护进程）、Crontab（定时监控脚本）、Celery任务队列（提醒邮件）

将来

这个项目有不少的不足，我也一边编码一边总结。

如今个人TODO List：

• Docker化各个模块
• 全局搜索
• QQ微信登陆
• 价格曲线
• 推广连接
• 添加更多商品
• ...

时至今日，这个项目的两个功能可能都能找到更好的替代产品，毕竟一我的的精力有限，没法将全部想法都体如今程序上。可是这个项目我还会坚持下去，它已经成为了我技术的试验田，也成为了我继续学习的动力。

关注我

个人Csdn：

blog.csdn.net/qqxx6661

个人知乎：

www.zhihu.com/people/yang…

个人简书：

www.jianshu.com/u/b5f225ca2…

个人我的公众号：Rude3Knife