基于Python的开源爬虫软件Scrapy快速入门

1、安装Scrapy

#导入GPG密钥
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

#添加软件源
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list

#更新包列表并安装scrapy
sudo apt-get update && sudo apt-get install scrapy-0.22

2、Scrapy的组成

3、快速开始Scrapy

运行Scrapy后，只须要重写一个download就能够了。

这里是别人的一个抓取招聘网站信息的例子，基本结构能够参考。但我运行时，出现不少错误，缺乏misc目录，并且piplines的配置没有写出来。

诸君稍候，等我试一下，所有分享给你们。

根据官方的入门例程，快速开始：

首先，根据模版建立一个工程。

scrapy startproject tutorial

里面的目录和文件看起来是这样的：

tutorial/
    scrapy.cfg            # deploy configuration file
    tutorial/             # project's Python module, you'll import your code from here
        __init__.py
        items.py          # project items file
        pipelines.py      # project pipelines file
        settings.py       # project settings file
        spiders/          # a directory where you'll later put your spiders
            __init__.py
            ...

进items.py，改为这样：

import scrapy

class DmozItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

再进dmoz_spider.py，改为这样：

import scrapy

class DmozSpider(scrapy.Spider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2] + '.html'
        with open(filename, 'wb') as f:
            f.write(response.body)

再运行这个：

scrapy crawl dmoz

可是，出错了哇！

找了个别的例子参考了下，把里面的scrapy.Spider改成scrapy.spider.Spider，以下：

class DmozSpider(scrapy.spider.Spider):

基本上就能够Run起来了。

多是版本修改了，把Spider这个类放到了spider命名空间下了，但是例子没有改，有点坑人咧！

完整的教程在这里：http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/tutorial.html