PySpider 爬虫系统

 PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。 一、安装依赖库 yum install gcc gcc-c++ -y yum install python-pip python-devel python-distribute libxml2

>>阅读原文<<