python爬虫之scrapy框架介绍

前言 运用request模块已经能爬取百分之90的网站了，那么scrapy框架是为了解决那百分之10的网站吗？ 答案是否定的。scrapy的目的是为了让爬虫更加的高效，简介 使用 导入模块 pip install scrapy 创建项目(mySpider是项目名) scrapy startproject mySpider 会出现下面的目录 下面来简单介绍一下各个主要文件的作用： scrapy.cf

>>阅读原文<<