舆情系统设计方案

1.爬虫抓取环节css 须要解析来源不少种类的不一样网站，每一个网站所须要抓取信息的html，css格式大不相同，这个时候须要构造一个通用模版类来解析一部分网站模版的需求，而后再构造一个独立解析的后台系统供编辑使用建立须要解析的模版，而后爬虫系统自动读取后台要解析的独立模版来解析对应的网站内容 html 2.爬虫监控环节网站 监控环节包括监控每一个种类每一个爬虫抓取的数据量，以及监控爬虫的错误日志

>>阅读原文<<