Python爬虫 --- 2.3 Scrapy 框架的简单使用

时间 2019-11-29

标签 python 爬虫 2.3 scrapy 框架简单使用栏目 Python 繁體版

原文原文链接

原文连接：www.fkomm.cn/article/201…html

网络爬虫，是在网上进行数据抓取的程序，使用它可以抓取特定网页的HTML数据。python

Scrapy框架的简单使用：

虽然咱们利用一些库开发一个爬虫程序，可是使用框架能够大大提升效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的框架，简单轻巧，而且使用起来很是的方便。使用Scrapy能够很方便的完成网上数据的采集工做，它为咱们完成了大量的工做，而不须要本身费大力气去开发。web

下面咱们来经过一个很简单的例子来介绍Scrapy框架的使用。chrome

咱们要爬的网址是：搜读网： www.sodu.cc。缓存

我喜欢在这个网站看小说，里面的小说内容仍是比较丰富的，推荐读者喜欢看小说的能够来看看。由于只是简单介绍，因此我只准备抓取小说的标题。bash

好的，基本流程既然肯定了，那接下来就一步一步的完成就能够了。网络

其实只须要四步便可！！！框架

步骤一：建立一个工程和Spider模板

咱们先用命令行建立一个Scrapy工程：dom

$ scrapy startproject souduscrapy

接着，咱们进入到工程目录：

$ cd soudu

咱们来看一下目录结构：

tree
# OUT:
.
├── soudu                  #外层目录
│   ├── __init__.py         #初始化脚本 
│   ├── __pycache__         #Python缓存文件。暂时无视
│   ├── items.py            #Items代码模板，继承类自scrapy.Item
│   ├── middlewares.py      #Middlewares代码模板(继承类)
│   ├── pipelines.py        #Pipelines代码模板(继承类)
│   ├── settings.py         #Scrapy爬虫的配置文件
│   └── spiders             #Spiders代码模板目录 咱们写爬虫的地方
│       ├── __init__.py
│       └── __pycache__
└── scrapy.cfg              #部署爬虫的配置文件

4 directories, 7 files
复制代码

最后，咱们用命令行建立第一个Spider：

$ scrapy genspider title www.sodu.cc

这样咱们就建立了一个名为title的爬虫了。

咱们来看看他长什么样，打开/spiders/title.py:

# -*- coding: utf-8 -*-
import scrapy

class NewsSpider(scrapy.Spider):
    name = 'title'
    allowed_domains = ['www.sodu.cc']
    start_urls = ['http://www.sodu.cc/']

    def parse(self, response):
        pass
复制代码

能够看到，Scrapy已经帮咱们把爬虫的框架写好了，咱们只要在这个框架的基础上进行进一步的定制就能够了。

步骤二：编写Spider

咱们来着手定制咱们的爬虫吧：

看一下详细的注释

# -*- coding: utf-8 -*-
import scrapy

# 将咱们须要爬的项目引入进来
from soudu.items import SouduItem

class DemoSpider(scrapy.Spider):

    #该爬虫的名字
    name = "title"

    #规定爬虫爬取网页的域名 
    allowed_domains = ['www.sodu.cc']

    #开始爬取的url连接
    start_urls = ['http://www.sodu.cc/']

    def parse(self, response):
        ''' parse()函数接收Response参数，就是网页爬取后返回的数据 用于处理响应，他负责解析爬取的内容 生成解析结果的字典，并返回新的须要爬取的请求 '''

        #因为是demo 咱们不作彻底的功能，
        #只要求爬取出第一部小说的名字
        #xpath规则能够经过查看网页源文件得出，chrome右键检查定位到所要爬取的内容
        name = response.xpath('//a[@onclick="getpage(this)"]/text()').extract()[0]

        #创建一个items字典，用于保存咱们爬到的结果，并返回给pipline处理
        items = {}
        items['第一部小说名']= name

        return items
复制代码

步骤三：编写Item Pipeline

首先咱们编写itmes.py来定义这个爬虫框架须要爬哪些内容：

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class SouduItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    name = scrapy.Field()
复制代码

接着咱们编写 piplines.py来处理spider爬到的内容：

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
class ZimukuPipeline(object):
    def process_item(self, item, spider):

        # 由于是最简单的，因此咱们把爬到的结果打印一下

        print(item)

        return item
复制代码

步骤四：优化配置Settings.py

# -*- coding: utf-8 -*-

# Scrapy settings for soudu project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
# https://doc.scrapy.org/en/latest/topics/settings.html
# https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
# https://doc.scrapy.org/en/latest/topics/spider-middleware.html

BOT_NAME = 'soudu'

SPIDER_MODULES = ['soudu.spiders']
NEWSPIDER_MODULE = 'soudu.spiders'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'soudu (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

#只增长了这一行，经过配置告诉Scrapy明白是谁来处理结果
ITEM_PIPELINES = {
   'soudu.pipelines.SouduPipeline': 300,
}
复制代码

好了，这样一个爬虫就算完成了，那怎么获取爬到的结果呢？？？

运行

首先咱们经过命令来执行爬虫：

$ scrapy crawl title

让咱们这个最最简单的爬虫跑起来。

来看一下结果：

我只截取部分咱们须要的内容，其余的我且暂不写出了：

2018-08-03 19:31:53 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.sodu.cc/>
{'第一部小说名': '圣墟'}
复制代码

是否是能够看到咱们须要找到的内容了？

Scrapy框架的基本使用已经说完了，之后我会一步一步来说解其余的例子。