爬虫平台Crawlab v0.2发布

Crawlab是一个专一于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，很是适合对爬虫管理、爬虫工程化有要求的开发者及企业。对Crawlab还不了解的童鞋，请移步以前的文章:

• 分布式通用爬虫管理平台Crawlab
• 手把手教你如何用Crawlab构建技术文章聚合平台(一)
• 手把手教你如何用Crawlab构建技术文章聚合平台(二)

Crawlab的任务调度核心模块是基于Celery的，所以自然支持分布式爬虫、多节点抓取。Crawlab虽然是用python写的，但爬虫不局限于python爬虫，理论上可兼容任何语言以及任何框架。从目前开源的框架来看，大部分爬虫平台是以scrapyd为核心，所以只能支持scrapy框架的爬虫，而Crawlab不只支持scrapy，还支持其余框架的爬虫。

更新一览

v0.2 已完成

• 基础统计
• 数据分析（爬虫）
• 网站信息
• 定时任务
• 修复bug

待开发

• 用户管理
• 上传爬虫
• 导出数据
• 高级数据分析（网站、任务）
• 更多爬虫例子
• 文件管理

截屏

基础统计（爬虫）

基础统计（任务）

定时任务

网站信息

Github: tikazyq/crawlab

若是感受Crawlab还不错的话，请加做者微信拉入开发交流群，你们一块儿交流关于Crawlab的使用和开发。