哪一个爬虫框架好”简单对比”

 

　　对于爬虫框架自己来讲，都是很优秀的，说那个更好，不如说那个更适合公司的业务需求。好比javaweb项目中须要某些网站的金融系列新闻，得天天定时去抓取一些数据，你就能够考虑WebMagic框架，可以轻松的将爬虫代码逻辑模块化到项目中，毫无违和感。固然也能够是别的框架，只要合适就好（以上爬虫框架就不介绍了，真要说说，估计得长篇大论了.....能够查阅相关资料进行详细的了解）。

　　这些开源的爬虫框架大都是把复杂的问题解决掉，而后封装，在以后就是咱们用的很简单、方便，没必要考虑那些URL去重、代理、线程池管理等等问题，固然建议看看源码，多想一想他们的设计思想以及实现逻辑。

　　咱们在之前项目中用的爬虫框架是java语言的WebMagic和python语言的PySpider。普通java爬虫项目中均可以多多考虑WebMagic和WebCollector绝对够用（反正用啥都得考虑动态js抓取，图片验证码识别等等那些反爬虫机制，这必定是个持久战，哈哈），上手简单易扩展，注重业务开发就好。若是大型分布式、业务够复杂、需求点够多、数据够庞大下的估计用哪一个框架也得进行二次扩展了。因此选那个框架没必要那么纠结。

　　另外搞爬虫不得不推荐python了，易学，语法简单，一个简单的爬虫程序可能半个小时就搞定了。虽然在调试上很费时间，可是当有必定经验了，不少问题就能够规避掉或者bug定位很快。固然也有痛点，可是这些痛点对于整个项目成原本说彻底能够接受。

　　

 　　

业精于勤荒于嬉。