爬虫框架pyspider

前言 pyspider是支持WebUI的，支持任务监控，项目管理，以及多种数据库的一个强大的爬虫框架，这个真的很好用！！！这主要不是教大家怎么使用，怎么怎么样，主要是让大家懂运行的原理，以及框架的整体结构！ 今天主要是分为这几部分： 1.为什么要使用pyspider？ 2.pyspider的安装 3.pyspider简单使用 4.pyspider框架的架构和执行流程 一、为什么要使用pyspide

>>阅读原文<<