pyspider介绍

Pyspider功能需求 pyspider是一个爬虫架构的开源化实现。主要的功能需求是： 抓取、更新调度多站点的特定的页面 需要对页面进行结构化信息提取 灵活可扩展，稳定可监控 而这也是绝大多数python爬虫的需求 —— 定向抓取，结构化化解析。但是面对结构迥异的各种网站，单一的抓取模式并不一定能满足，灵活的抓取控制是必须的。为了达到这个目的，单纯的配置文件往往不够灵活，于是，通过脚本去控制抓取

>>阅读原文<<