Java爬虫框架(二)--模块设计之一

一、        模块 1.      Scheduler Scheduler负责启动爬虫,停止爬虫,监控爬虫的状态。   Scheduler在调度爬虫时,借助于Quartz,设置爬虫在某个时刻启动。同一个名字的爬虫是stateful的。 Task:初始化任务。 Trigger: 触发器,描述何时触发爬虫。 开放Scheduler远程API,可以通过爬虫配置管理平台管理和监控爬虫。 2.    
相关文章
相关标签/搜索