使用webmagic爬取网站数据

爬取网站的技术很多，我是使用java来写，经过对比还是选择了webmagic来实现。原因就是方便，简单。 文档：webmagic中文文档 源码地址：https://github.com/code4craft/webmagic 文档和代码中的例子都比较简单易懂，几分钟就可以进行网站的爬取和分析了。 这里简单介绍下穷游网的数据抓取（只介绍思路和主要代码，具体代码就不粘贴了，如有需要可留言） 一、需求

>>阅读原文<<