python爬取并下载麦子学院所有****

一、主要思路 scrapy爬取是有课程地址及名称 使用multiprocessing进行下载 就是为了爬点视频，所以是简单的代码堆砌 想而未实行，进行共享的方式 二、文件说明 itemsscray字段 piplines.py存储数据库 setting.py scrapy配置 需要注意的是DEFAULT_REQUEST_HEADERS的设置，需要模拟登录 mz.py是主要爬虫 都是基本的爬虫功能，c

>>阅读原文<<