Crawler - 如何爬取列表后进行文章的爬取


已知BUG:(version:5) 1-爬取后生成的XML默认编码是Java环境决定导入数据库可能出问题 方法修改xml编码后导入

Crawler Shell

重点CL 和 CI命令数据库

CL 是爬取List列表 会经过file生成文件编码

CI 中file是CL执行后生存的File文件xml

CL生成File文件(List),CI读取File文件(list)进行对List遍历,经过Cq命令提取List中每个文章的内容,而后经过CI的input命令输出到xml中,就能够入库了。input

流程:CL生成List CI读取LIST 完成任务it

相关文章
相关标签/搜索