Scrapy 框架 - 简介

Scrapy 框架

介绍

Scrapy一个开源和协做的框架，其最初是为了页面抓取 (更确切来讲, 网络抓取 )所设计的，使用它能够以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分普遍，可用于如数据挖掘、监测和自动化测试等领域，也能够应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

    Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。所以Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。

框架架构

总体架构大体以下

 

框架流程解析

• 一、spiders产生request请求，将请求交给引擎
• 二、引擎(EGINE)吧刚刚处理好的请求交给了调度器，以一个队列或者堆栈的形式吧这些请求保存起来，调度一个出来再传给引擎
• 三、调度器(SCHEDULER)返回给引擎一个要爬取的url
• 四、引擎把调度好的请求发送给download，经过中间件发送（这个中间件至少有 两个方法，一个请求的，一个返回的)，
• 五、一旦完成下载就返回一个response，经过下载器中间件,返回给引擎，引擎把response 对象传给下载器中间件，最后到达引擎
• 六、引擎从下载器中收到response对象，从下载器中间件传给了spiders（spiders里面作两件事，一、产生request请求，二、为request请求绑定一个回调函数），spiders只负责解析爬取的任务。不作存储，
• 七、解析完成以后返回一个解析以后的结果items对象及(跟进的)新的Request给引擎，就被ITEM PIPELUMES处理了
• 八、引擎将(Spider返回的)爬取到的Item给Item Pipeline，存入数据库，持久化,若是数据不对，可从新封装成一个request请求，传给调度器
• 九、(从第二步)重复直到调度器中没有更多地request，引擎关闭该网站

核心组件

引擎

引擎负责控制系统全部组件之间的数据流，并在某些动做发生时触发事件。

调度器

用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回.

能够想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

下载器

用于下载网页内容, 并将网页内容返回给引擎

下载器是创建在 twisted 这个高效的异步模型上的

爬虫

SPIDERS是开发人员自定义的类，用来解析responses，而且提取items，或者发送新的请求

项目管道(ITEM PIPLINES)

在items被提取后负责处理它们

主要包括清理、验证、持久化（好比存到数据库）等操做

下载器中间件

 下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。

其提供了一个简便的机制，经过插入自定义代码来扩展Scrapy功能。

更多内容请看 下载器中间件(Downloader Middleware) 。

爬虫中间件

 Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。

其提供了一个简便的机制，经过插入自定义代码来扩展Scrapy功能。

更多内容请看 Spider中间件(Middleware) 。

下载安装

#Windows平台
    一、pip3 install wheel #安装后，便支持经过wheel文件安装软件，wheel文件官网：https://www.lfd.uci.edu/~gohlke/pythonlibs
    3、pip3 install lxml
    4、pip3 install pyopenssl
    五、下载并安装pywin32：https://sourceforge.net/projects/pywin32/files/pywin32/
    六、下载twisted的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    七、执行pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl
    8、pip3 install scrapy
  
#Linux平台
    一、pip3 install scrapy

 关于下载中的报错问题请看这里 

 命令行工具

#1 查看帮助
    scrapy -h
    scrapy <command> -h

#2 有两种命令：其中Project-only必须切到项目文件夹下才能执行，而Global的命令则不须要
    Global commands:
        startproject #建立项目
        genspider    #建立爬虫程序
        settings     #若是是在项目目录下，则获得的是该项目的配置
        runspider    #运行一个独立的python文件，没必要建立项目
        shell        #scrapy shell url地址  在交互式调试，如选择器规则正确与否
        fetch        #独立于程单纯地爬取一个页面，能够拿到请求头
        view         #下载完毕后直接弹出浏览器，以此能够分辨出哪些数据是ajax请求
        version      #scrapy version 查看scrapy的版本，scrapy version -v查看scrapy依赖库的版本
    Project-only commands:
        crawl        #运行爬虫，必须建立项目才行，确保配置文件中ROBOTSTXT_OBEY = False
        check        #检测项目中有无语法错误
        list         #列出项目中所包含的爬虫名
        edit         #编辑器，通常不用
        parse        #scrapy parse url地址 --callback 回调函数  #以此能够验证咱们的回调函数是否正确
        bench        #scrapy bentch压力测试

#3 官网连接
    https://docs.scrapy.org/en/latest/topics/commands.html

全局命令：全部文件夹都使用的命令,能够不依赖与项目文件也能够执行
项目的文件夹下执行的命令
一、scrapy startproject Myproject #建立项目
   cd Myproject

二、scrapy genspider baidu www.baidu.com  #建立爬虫程序，baidu是爬虫名,定位爬虫的名字
#写完域名之后默认会有一个url,

三、scrapy settings --get BOT_NAME  #获取配置文件

#全局：四、scrapy runspider budui.py

五、scrapy runspider AMAZON\spiders\amazon.py  #执行爬虫程序
   在项目下：scrapy crawl amazon  #指定爬虫名，定位爬虫程序来运行程序
    #robots.txt 反爬协议：在目标站点建一个文件，里面规定了哪些能爬，哪些不能爬
    # 有的国家以为是合法的，有的是不合法的，这就产生了反爬协议
    # 默认是ROBOTSTXT_OBEY = True
    # 修改成ROBOTSTXT_OBEY = False  #默认不遵循反扒协议

六、scrapy shell https://www.baidu.com  #直接超目标站点发请求
     response
     response.status
     response.body
     view(response)

七、scrapy view https://www.taobao.com #若是页面显示内容不全，不全的内容则是ajax请求实现的，以此快速定位问题

八、scrapy version  #查看版本

九、scrapy version -v #查看scrapy依赖库锁依赖的版本

十、scrapy fetch --nolog http://www.logou.com    #获取响应的内容

十一、scrapy fetch --nolog --headers http://www.logou.com  #获取响应的请求头
    (venv3_spider) E:\twisted\scrapy框架\AMAZON>scrapy fetch --nolog --headers http://www.logou.com
    > Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
    > Accept-Language: en
    > User-Agent: Scrapy/1.5.0 (+https://scrapy.org)
    > Accept-Encoding: gzip,deflate
    >
    < Content-Type: text/html; charset=UTF-8
    < Date: Tue, 23 Jan 2018 15:51:32 GMT
    < Server: Apache
    >表明请求
    <表明返回

十、scrapy shell http://www.logou.com #直接朝目标站点发请求

十一、scrapy check  #检测爬虫有没有错误

十二、scrapy list  #全部的爬虫名

1三、scrapy parse http://quotes.toscrape.com/ --callback parse #验证回调函函数是否成功执行

1四、scrapy bench #压力测试

建立项目以及启动爬虫

scrapy startproject xx 
cd xx 
scrapy genspider chouti chouti.com 

scrapy crawl chouti --nolog 

 默认只能在cmd中执行爬虫，若是想在pycharm中执行须要以下操做

#在项目目录下新建：entrypoint.py
from scrapy.cmdline import execute
# execute(['scrapy', 'crawl', 'amazon','--nolog'])  # 不要日志打印
# execute('scrapy crawl amazon'.split())  # 须要列表的形式, 也能够字符串切割为列表传入 

# 多个参数的传递也是一个一个传便可
# "acrapy crawl amzaon -a keyword=iphone8"
execute(['scrapy', 'crawl', 'amazon1','-a','keyword=iphone8','--nolog'])  

# execute(['scrapy', 'crawl', 'amazon1'])

 记得设置编码格式在 windows 环境下

import sys,os 
sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')

项目结构

project_name/
   scrapy.cfg
   project_name/
       __init__.py
       items.py
       pipelines.py
       settings.py
       spiders/
           __init__.py
           爬虫1.py
           爬虫2.py
           爬虫3.py