java爬虫入门---WebMagic

一、爬虫框架的使用 爬虫的底层实现 ：HttpClient + Jsoup，这里使用别人做好的的爬虫框架的轮子，可以省略我们绝大多数步骤！ webmagic 的设计目标是尽量的模块化，并体现爬虫的功能特点。这部分提供非常简 单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。 1.2、主要特色 完全模块化的设计，强大的可扩展性。 核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入

>>阅读原文<<