自己动手写开源爬虫框架 Slit

自己写的一个开源爬虫框架，取名为Slit。现在的爬虫框架确实有很多，例如Nutch,Heritrix,webMagic等等我为什么又要自己写一个呢？这几个爬虫框架确实都不错，网上也有很多关于它们的评价，但是我发现它们中有很多功能我用不到，有些地方扩展性有点限制，然后自己一想搞个适合自己的轻框架，于是准备这个练手的项目Slit。   下面我对Slit项目做一些基本的介绍，包括项目的架构，内部运行逻辑

>>阅读原文<<