基于webMagic实现爬虫开发

     最近由于毕设一定的数据源，故需要进行爬虫方面的开发，网上的爬虫框架很多，包括scrapy（基于python），PySpider（基于python）,webMagic（基于Java）等等。在网上查找了一番资料后选定webMagic，一方面它可以基于Java进行爬虫的开发，更重要的还是它的学习成本很低，官方文档简单易懂（国人开发，中文文档）。作者提供了一组高效而简洁的api，使得我们能用少量

>>阅读原文<<