对webmagic的一个example进行Debug——框架执行流程

笔者前言 由于业务需求,突然需要在Spring上支持爬虫业务,于是上头选择了这个较为轻量级的框架。 其实笔者在收到爬虫任务时,要求自己空手从零制作一个爬虫,用上了Jsoup作为解析包。早期单单使用Jsoup做小爬虫是能满足的,但随着中期面对规模,小爬虫的效率是不够的,然后就需要借助框架。 而框架是要先进行了解,再进行使用的!!! webmagic小概 官文 http://webmagic.io/d
相关文章
相关标签/搜索