用Node.js作一个GitHub爬虫

用Node.js写了一个爬虫,能够获取GitHub各类编程语言star数前十的库

在线地址: http://www.flypie.cn:9999/

GitHub地址：

• 前端 https://github.com/flypie2/gi...

• 后台 https://github.com/flypie2/gi...

技术栈

• 后端框架 koa

• 数据获取 axios获取数据 cheerio抓取数据

• 数据存储可选本地json存储或redis存储

• node-schedule 开启定时任务抓取数据并更新本地存储

• 前端用vue2.0和MintUI进行数据展现和操做

功能

我闲的没事的时候常常逛GitHub，看看如今star排行榜上靠前的库，
因而干脆作了一个小爬虫来定时抓取GitHub上star数前十的库，
而后根据编程语言进行选择浏览，功能很简单，大概作了一天时间。

主要时间都花在调试，由于GitHub防爬虫作的很好,
若是发送请求过多过快会被封或返回429错误(429表示请求过于频繁)。

最后放个项目截图: