Digger爬虫平台正式开源啦！

Digger爬虫平台正式开源啦~

通过三个月的开发测试，Digger爬虫平台正式在Github开源啦~

Digger是什么？

Digger是用纯Golang开发的配置式分布式跨平台爬虫系统，支持使用Javascript编写插件来实现各类你想要达到的目标。Digger及相关组件可以以极低的资源开销运行在各类廉价服务器和开发板上，如树莓派。
Digger没有复杂的依赖，部署十分简单，支持Linux和Windows平台，目前支持的CPU架构有：amd64, arm, arm64

项目地址：https://github.com/hetianyi/digger
文档：https://docs.diggerit.me/
在线体验：https://demo.diggerit.me/

您能够在 Demo演示环境 快速体验功能。

因为资源有限，请合理使用演示环境，定时任务会在天天0点清理数据。

功能简介

• 支持使用Css选择器和Xpath选择器
• 支持多种结果类型：plain text，html，array等
• web端爬虫配置编辑器
• 在线调试爬虫配置，精准定位问题
• 支持插件功能
• 实时浏览爬虫日志
• 结果在线浏览、导出，一键生成数据库schema（postgres和mysql）
• 定时任务
• 支持暂停任务
• 分布式worker实例，有效避免爬虫被block
• 支持任务和worker标签匹配调度功能
• 支持配置导入导出
• 邮件通知功能
• 钉钉通知功能（TODO）
• DiggerHub支持爬虫配置分享（TODO）

项目截图

Enjoy your crawling!