Pyspider爬虫框架(以及与Scrapy爬虫框架的优缺点)

Pyspider: 一个国人编写强大的网络爬虫系统并带有强大的WebUI, 采用Python语言编写, 分布式架构, 支持多种数据库后端, 强大的WebUI支持脚本编辑器, 任务监视器, 项目管理器以及结果查看器. 主要功能需求: 1> 抓取, 更新调度多站点的特定的页面 2> 需要对页面进行结果化信息的提取 3> 灵活可扩展, 稳定可监控 Pyspider设计基础: 1> 通过python脚本进

>>阅读原文<<