webmagic使用

webmagic是Java语言用于爬虫的工具。官网地址：http://webmagic.io/,中文文档地址：http://webmagic.io/docs/zh/ 使用webmagic有3种配置需要注意，日志配置（log4j），webmagic爬取配置（如超时时间），使用数据库的话数据库连接池配置。有一些配置最好做到可以随机器性能情况而改变配置信息。这样做的目的是为了将项目打成包以后在命令行下执

>>阅读原文<<