WebMagic实现分布式抓取以及断点抓取

前言 从去年到今年，笔者主要负责的是与合作方的内容对接，新增的合作商不是很多的情况下，在我自从去年引入了 WebMagic 这个爬虫框架之后，基本很少需要去关注维护爬虫，做的最多的是新接入合作商去写对应爬虫抓取模板。 因为在代码中实现了增量抓取，单机也足以承担日常的抓取工作。 在前两周，由于公司拓展新的业务渠道，需要接入的合作商瞬间增加了 3 倍，又被要求在 2 天内全部接入，那两天和另外一个同事

>>阅读原文<<