通用爬虫之站酷全站设计师资料爬取

咱们写多几个爬虫就会发现，其实有不少相同的模块，好比翻页，好比网络错误重试等。scrapy内部已经有很是完美的处理模块，咱们只须要简单配置便可使用，仍是接上一节咱们的爬虫，这一次咱们将它封装地更增强大。此次，咱们作一个通用爬虫，实现随机请求头和换ip功能，除此以外将实现可配置化爬虫，也就是说，咱们要爬取一个站点，只须要写必要的连接筛选和解析规则便可，而无需像以前那样写不少冗余的代码块。黑喂狗~

工具环境

• 语言：python3.6
• 编辑器：Pycharm
• 数据库：MongoDB
• 框架：scrapy1.5.1

舒适提示：

阅读此文可能须要对scrapy框架有基本的了解，对xpath解析有一个基本的了解

爬取思路

爬取站点：www.zcool.com.cn/

咱们须要的是每个设计师的资料页面的信息，以下所示：

逻辑其实很简单：

1. 找到尽量多的设计师

2. 找到他们的主页（做为跳板）

3. 点开详情页资料，开始爬取信息

   若是你有看过上一节的爬虫介绍，其实发现这一点也不难，不过是经过rule配置进行页面追踪，这里咱们主须要找到尽量的的设计师，这里我事先作过简单的调研，这里就不详细我找设计的过程了，最后是在更多，设计师那里找到的，加上首页每一个做品的设计师，也有4000个，固然这里可能有不少重复的，但和全量设计师，我当时有爬过一次，当时好像是有公开设计师的总量，不知道是25W仍是250W的注册设计师，这样算来的话，其实这4000设计师和25W根本不是一个量级的。那么咱们就须要找别的入口，看哪里还尽量能够找到不少的设计师

   这里有我已经发现的地方

• 第一个是设计师页面的不一样类型的选项，还有按照城市区分的
• 设计师首页或做品也下面的访客和留言
• 每一个设计师的关注对象和粉丝

我最后选择的是每一个设计的关注和粉丝，由于对于第一个，我可能须要将每一个城市的id记录在案，而后再进行了详细的拆分，生成根据城市和类型的自由组合，而后再将这些组合的url做为初始连接进行爬虫，至关于爬取以前要进行一步预处理，不太适合scrapy通用爬取的方法

访客和留言，你们能够经过调度页面分析功能，发现它其实并无在html中实时展现，而是经过动态加载的方式调取信息，爬取的时候一样有限制，可能涉及解析json，考虑到要作通用爬虫，因此没有选择此种方式

最后每一个设计师的关注对象和粉丝的方法，就很是简单直接，可能会丢失一些历来不关注的用户。只要是有关注别人基本能够找到

show me the code

核心的功能模块我是照着大才哥的教程学习的，传送门丢给你们：

juejin.im/post/5b026d…

你们能够看一下大才哥的教程一步步实现，在此基础上，我增长了一个自动换请求头的功能和换代理的功能

1. 随机请求头:

import random
from scrapy import signals
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
class RandomUserAgentMiddleware(UserAgentMiddleware):
"""This middleware allows spiders to override the useragent"""

def init(self, settings, useragent='Scrapy'):
    super(RandomUserAgentMiddleware, self).init()
    self.useragent = useragent
    useragentfile = settings.get('USERAGENTLIST')
    if not useragentfile:
        ua = settings.get('USERAGENT', useragent)
        self.useragentlist = ua
    else:
        with open(useragentfile, 'r') as f:
            self.useragentlist = i.strip() for i in f.readlines()

@classmethod
def fromcrawler(cls, crawler):
    o = cls(crawler.settings)
    crawler.signals.connect(o.spideropened, signal=signals.spideropened)
    return o

def spideropened(self, spider):
    self.useragent = getattr(spider, 'useragent', self.useragent)

def processrequest(self, request, spider):
    useragent = random.choice(self.useragentlist)
    if self.useragent:
        request.headers.setdefault(b'User-Agent', useragent)

复制代码

核心思路就是在settings内获得的user-agent的文件路径之地，以后再每次请求的时候，随机再其中抽取一个，若是没有拿到的话，就默认选择配置中的默认请求头

2. 随机代理ip

相似的，咱们在发起请求以前，先得到本身搭建好的ip代理服务，得到可用代理ip，咱们只须要继承HttpProxyMiddleware模块的功能，替换ip便可，HttpProxyMiddleware已经为咱们贴心地实现了诸如须要使用帐号密码，http和https的使用等

完成它们以后，咱们只须要根据要求，实现对应的items.py(须要提取的字段对象)、rules.py(对页面追踪逻辑的规则定义)、loaders.py(解析页面的处理)便可，若是要使用动态的url，例如初始须要指定多页面，那就须要配置一下urls.py

对应站酷网，核心的思路在上面的思路中已经结束，代码注释中有每一步的追踪步骤，不在赘述

'zcool': (
    # 追踪下一页
    Rule(LinkExtractor(restrictxpaths='//a@class="laypagenext"]')),
    # 提取如 https://www.zcool.com.cn/u/15472001 样式的页面
    Rule(LinkExtractor(allow='.www.zcool.com.cn\/u\/\d+$')),
    # 追踪 https://www.zcool.com.cn/designer 页面设计师主页的连接
    Rule(LinkExtractor(restrictxpaths='//a@z-st="usercontentcard1username"]')),
    # 追踪 https://www.zcool.com.cn/designer 筛选 | 推荐设计师 栏目的分页
    Rule(LinkExtractor(restrictxpaths='//astarts-with(@z-st, "desingerfilterrecommend")]')),
    # 追踪 https://www.zcool.com.cn/designer 筛选 | 不限职业 栏目的分页
    Rule(LinkExtractor(restrictxpaths='//astarts-with(@z-st, "desingerfilterprofession")]')),
    # 原本准备使用访客和留言来追踪的，后来发现页面是动态加载的，提取收到该信息，遂弃用
    # Rule(LinkExtractor(restrictxpaths='//a@class="usernick"')),
    # Rule(LinkExtractor(restrictxpaths='//a@class="visitor-name"')),
    # 追踪 粉丝页面
    Rule(LinkExtractor(allow='.?fans.')),
    # 追踪 关注页面
    Rule(LinkExtractor(allow='.?follow.')),
    # 追踪 设计师资料页，并回调给parseitem函数处理
    Rule(LinkExtractor(allow='.?profile.'), callback='parseitem'),
)

复制代码

至此，一个通用的母体爬虫便制做完毕，以后若是用来爬反爬虫不是特别强的网站，一个爬虫也不过就是分析网站和作页面解析费点时间，作好这个以后，一个简单的页面爬虫，我初略估计不会超过半小时便可

如今个人爬虫还在提取中，目前单机采集速度大概在日采集5-6万的样子，若是要提速能够本身在配置中增长并发