Python网络爬虫精要

目的

学习如何从互联网上获取数据。数据科学必须掌握的技能之一。

本文所用到的第三方库以下: requests, parsel, selenium

requests负责向网页发送HTTP请求并获得响应，parsel负责解析响应字符串，selenium负责JavaScript的渲染。

网络爬虫是什么

网络爬虫是一种按照必定的规则，自动地抓取网站信息的程序或者脚本。

如何爬取网站信息

写爬虫以前，咱们必须确保可以爬取目标网站的信息。

不过在此以前必须弄清如下三个问题:

1. 网站是否已经提供了api

2. 网站是静态的仍是动态的

3. 网站是否有反爬的对策

情形1：开放api的网站

一个网站假若开放了api，那你就能够直接GET到它的json数据。

好比xkcd的about页就提供了api供你下载

import requests
requests.get('https://xkcd.com/614/info.0.json').json()

那么如何判断一个网站是否开放api呢？有3种方法：

1. 在站内寻找api入口

2. 用搜索引擎搜索“某网站 api”

3. 抓包。有的网站虽然用到了ajax（好比果壳网的瀑布流文章），可是经过抓包仍是可以获取XHR里的json数据的。

怎么抓包：F12 - Network - F5刷新便可 | 或者用fiddle等工具也能够

情形2：不开放api的网站

若是此网站是静态页面，那么你就能够用requests库发送请求，再用HTML解析库（lxml、parsel等）来解析响应的text

解析库强烈推荐parsel，不只语法和css选择器相似，并且速度也挺快，Scrapy用的就是它。

你须要了解一下css选择器的语法（xpath也行），而且学会看网页的审查元素。

好比获取konachan的全部原图连接

from parsel import Selector
res = requests.get('https://konachan.com/post')
tree = Selector(text=res.text)
imgs = tree.css('a.directlink::attr(href)').extract()

若是此网站是动态页面，先用selenium来渲染JS，再用HTML解析库来解析driver的page_source。

好比获取hitomi.la的数据（这里把chrome设置成了无头模式）

from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
driver.get('https://hitomi.la/type/gamecg-all-1.html')
tree = Selector(text=driver.page_source)
gallery_content = tree.css('.gallery-content > div')

情形3：反爬的网站

目前的反爬策略常见的有：验证码、登陆、封ip等。

验证码：利用打码平台破解（若是硬上的话用opencv或keras训练图）

登陆：利用requests的post或者selenium模拟用户进行模拟登录

封ip：买些代理ip（免费ip通常都无论用），requests中传入proxies参数便可

其余防反爬方法：假装User-Agent，禁用cookies等

推荐用fake-useragent来假装User-Agent

from fake_useragent import UserAgent
headers = {'User-Agent': UserAgent().random}
res = requests.get(url, headers=headers)

如何编写结构化的爬虫

若是能成功地爬取网站信息，那么你已经成功了一大半。

其实爬虫的架构很简单，无非就是创造一个tasklist，对tasklist里的每个task调用crawl函数。

大多数网页的url构造都是有规律的，你只需根据它用列表推倒式来构造出tasklist对于那些url不变的动态网页，先考虑抓包，不行再用selenium点击下一页
若是追求速度的话，能够考虑用concurrent.futures或者asyncio等库。

import requests
from parsel import Selector
from concurrent import futures

domain = 'https://www.doutula.com'

def crawl(url):
    res = requests.get(url)
    tree = Selector(text=res.text)
    imgs = tree.css('img.lazy::attr(data-original)').extract()
    # save the imgs ...

if __name__ == '__main__':
    tasklist = [f'{domain}/article/list/?page={i}' for i in range(1, 551)]
    with futures.ThreadPoolExecutor(50) as executor:
        executor.map(crawl, tasklist)

数据存储的话，看你的需求，通常都是存到数据库中，只要熟悉对应的驱动便可。

经常使用的数据库驱动有：pymysql(MySQL),pymongo(MongoDB)

若是你须要框架的话

文章读到这里，你应该对爬虫的基本结构有了一个清晰的认识，这时你能够去上手框架了。

轻量级框架（looter）：https://github.com/alphardex/looter

工业级框架（scrapy）：https://github.com/scrapy/scrapy