第八部分 验证码的识别(极验验证码)

前言：
验证码是众多网站采起的反爬措施。验证码的花样也不少，主要有下面这几种类验证码：
图形验证码：数字、英文字母、混淆曲线组合成的验证码。
行为验证码：识别文字，点击与文字相符的图片验证码。
交互式验证码：极难滑动验证码，滑动拼合滑块方可完成验证。
点触验证码：点击正确结果才可完成验证。
还有滑动宫格验证码、计算题验证码等。

下面涉及到的验证码有普通图形验证码、极验滑动验证码、点触验证码、微博宫格验证码。这些验证码识别方式和思路各有不一样。经过了解这几种识别方式，可用相似方法识别其余类型验证码。

1、 图形验证码的识别
知网注册页面就有相似的图形验证码：http://my.cnki.net/elibregister/commonRegister.aspx

使用 OCR 技术识别图形验证码。须要安装的库是 tesserocr。

先到知网注册页面下载验证码图片保存到本地，命名为 code.jpg，进行识别测试用。

一、 识别测试
将验证码图片放到程序所在的目录，用 tesserocr 库识别验证码，代码以下：

1 import tesserocr 2 from PIL import Image 3 image = Image.open('code.jpg') 4 result = tesserocr.image_to_text(image) 5 print(result)

 

 

运行代码输出为空，看来是没有成功识别验证码。

使用 tesserocr 的一个简单方法直接图片文件转为字符串，代码以下所示：

1 import tesserocr 2 print(tesserocr.file_to_text('code.jpg'))

此时识别到的结果是 SDIX，图片实际的验证码是 5DtX，识别效果不理想。

二、 验证码处理
因为验证码内有多余的线条干扰了图片的识别。须要作一些额外的处理才行，如转灰度、二值化等操做。
将图片转化为灰度图像：Image对象的 convert() 方法传入参数 L 便可。

1 image = image.convert('L') 2 image.show() # 显示图片

传入 1 可将图片进行二值化处理，以下所示：

1 image = image.convert('1') 2 image.show() # 显示图片

还能够经过指定二值化的阈值。上面的方法是采用的默认阈值 127。这还不能直接转化原图，要将原图先转为灰度图像，而后再指定二值化阈值。代码以下所示：

 

 1 import tesserocr  2 from PIL import Image  3 
 4 image = Image.open('code.jpg')  5 image = image.convert('L')  6 threshold = 121
 7 table = []  8 for i in range(256):  9     if i < threshold: 10  table.append(0) 11     else: 12         table.append(1) 13 image = image.point(table, '1') 14 #image.show()
15 image.save('code3.jpg') 16 # image = image.convert('1')
17 #image.show() # 显示图片
18 result = tesserocr.image_to_text(image) 19 print(result)

调试各类参数，识别效果仍然不理想。

2、 检验滑动验证码的识别

极验验证码：须要手动拼合滑块来完成的验证，相对图形验证码识别难度上升了几个等级。下面用程序识别并经过极验验证码的验证，其中有分析识别思路、识别缺口位置、生成滑块拖动、模拟实现滑块拼合经过验证等步骤。

须要用到Chrome 浏览器，并配置 ChromeDriver ，要用到的 Python 库是 Selenium。

一、 对极验验证码了解
极验验证码官网：http://www.geetest.com/。一个专一提供验证安全的系统，主要验证方式是拖动滑块拼命图像。若图像彻底拼合，则验证成功，即表单提交，不然须要从新验证。

如今极验验证码使用的企业不少，天天有超过几亿次的响应。极验验证码普遍用于直播视频、金融服务、电子商务、游戏娱乐、政府企业等各大类网站。

二、 极验验证码特色
识别难度大。首先要点击按钮进行智能验证，若是验证不经过，则会弹出滑动窗口，拖动滑块拼合图像进行验证。以后三个加密参数会生成，经过表单提交到后台，后台还会进行一次验证。

极验验证码增长了机器学习的方法来识别手动轨迹。其官方网站的安全防御有下面几点说明：
三角防御之防模拟：恶意程序模仿人类行为轨迹对验证码进行识别。利用机器学习和神经网络，构建线上线下的多重静态、动态防护模型，识别模拟轨迹，界定人机边界。

三角防御之防伪造：恶意程序经过伪造设备浏览器环境对验证码进行识别。利用设备基因技术，深度分析浏览器的实际性能来辨识伪造信息，同时根据依靠事件不断更新黑名单来提升防依靠能力。

三角防御之防暴力：恶意程序在短期内进行密集的攻击，对验证码进行暴力识别。为了防暴力，极验验证码有多种形态，每种形态都用神经网络生成海量图库储备，每一张图片都是独一无二的，且图库不断更新，极大程度提升防暴力识别成本。

三、 识别思路
对于极验验证码，直接模拟表单提交，加密参数构造较困难，须要分析其加密和校验逻辑，相对烦琐。因此直接采用模拟浏览器动做的方式来完成验证。使用 Python 的 Selenium 库模拟人的行为方式来完成验证，成本要相对去识别加密算法少不少。如图2-1所示。

图2-1 极验验证码实例

先找一个带有极验证的网站，这里以博客园的登陆为例进行验证。极验的官方登陆网站是 https://account.geetest.com/login，也能够在其官网上作测试。在博客园的登陆页面点击登陆后会出现一个极验验证按钮。如图2-2所示。

图2-2 极验验证按钮

该按钮是智能验证按钮。通常来讲，若是是同一个会话，一段时间内第二次点击会直接经过验证。若是智能识别不经过，则会弹出滑动验证窗口，须要拖动滑块图像完成二步验证。验证成功后，验证按钮会提示验证成功。接下来就是提交表单。

通过上述分析，极验验证须要完成下面三步：
（1）模拟点击验证按钮。
（2）识别滑动缺口的位置。
（3）模拟手动滑块。

第（1）步操做相对简单，可以使用 Selenium 模拟点击按钮。
第（2）步操做识别缺口的位置很关键，须要用到图像的相关处理方法。首先观察缺口的样子，如图2-3所示。

图2-3 缺口示例

缺口的四周边缘有明显的断裂边缘，边缘与边缘周围有明显的区别。可用边缘检测算法来找出缺口的位置。对于极验验证码，能够利用和原图对比检测方式识别缺口的位置，一般在没有拖动滑块前，缺口没有呈现。

能够同时获取两张图片，设定一个对比阈值，而后遍历两张图片，找出相同位置像素 RGB 差距超过此阈值的像素点，此像素点的位置就是缺口的位置。

第（3）步中要注意的是，极验验证码增长了机器轨迹识别，匀速移动、随机速度移动等方法都不能经过验证，只有彻底模拟人的移动轨迹才能够经过验证。人的移动轨迹通常是先加速后减速，要对这个过程模拟才能成功。

四、 初始化
这里选定的链接是博客园的登陆页面 https://passport.cnblogs.com/user/signin，在这里首先要初始化一些配置，如 Selenium 对象的初始化及一些参数的配置。以下所示：

 1 import time  2 from io import BytesIO  3 from PIL import Image  4 from selenium import webdriver  5 from selenium.webdriver import ActionChains  6 from selenium.webdriver.common.by import By  7 from selenium.webdriver.support.ui import WebDriverWait  8 from selenium.webdriver.support import expected_conditions as EC  9 
10 USERNAME = 'xx'
11 PASSWORD = 'xxx'
12 
13 class CrackGeetest(): 14     def __init__(self): 15         self.url = 'https://passport.cnblogs.com/user/signin'
16         self.browser = webdriver.Chrome() 17         self.wait = WebDriverWait(self.browser, 20) 18         self.username = USERNAME 19         self.password = PASSWORD 20 
21     def __del__(self): 22         self.browser.close()

五、 点击登陆调出极验按钮
定义一个方法获取登陆按钮，由于用户名和密码后须要先点击登陆才能调出极验按钮。代码以下所示：

1 def get_login_button(self): 2     """
3  获取登陆按钮，调出极验验证码 4  :return: 登陆按钮对象 5     """
6     button_login = self.wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'button'))) 7     return button_login

六、 模拟点击
模拟点击初始的验证按钮，定义一个方法来获取这个按钮，利用显示等待的方法来实现。以下所示：

1 def get_geetest_button(self): 2     """
3  获取初始验证按钮 4  :return: 按钮对象 5     """
6     button = self.wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'geetest_radar_tip'))) 7     return button

获取一个 WebElement 对象，调用它的 click() 方法便可模拟点击，代码以下所示：
# 点击验证按钮

1 button = sele.get_geetest_button() 2 button.click()

 

 

七、 识别缺口
下面识别缺口的位置。须要获取先后两张比对图片，两者不一致的地方即为缺口，获得其所在位置和宽高，而后获取整个网页的截图，图片裁切出来便可，代码实现以下：

 1 def get_position(self):  2     """
 3  获取验证码位置  4  :return: 验证码位置元组  5     """
 6     img = self.wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'geetest_canvas_img')))  7     time.sleep(2)  8     location = img.location  9     size = img.size 10     top, bottom, left, right = location['y'], location['y'] + size['height'], location['x'], location['x'] + size['width'] 11     return (top, bottom, left, right) 12 
13 def get_screenshot(self): 14     """
15  获取网页截图 16  :return: 截图对象 17     """
18     screenshot = self.browser.get_screenshot_as_png() 19     screenshot = Image.open(BytesIO(screenshot)) 20     return screenshot 21 
22 def get_slider(self): 23     """
24  获取滑块 25  :return: 滑块对象 26     """
27     slider = self.wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'geetest_slider_button'))) 28     return slider 29 
30 def get_geetest_image(self, name='captcha.png'): 31     """
32  获取验证码图片 33  :return: 图片对象 34     """
35     top, bottom, left, right = self.get_position() 36     print('验证码位置', top, bottom, left, right) 37     screenshot = self.get_screenshot() 38     captcha = screenshot.crop((left, top, right,bottom)) 39     return captcha

这里 get_position() 函数首先获取验证码图片对象的位置和宽高，随后返回其左上角和右下角的坐标。get_screenshot() 函数获取网页截图。

get_slider() 函数获取滑块对象，有的验证码是点击这个滑块后才出现带缺口的图片，有的是直接出现带缺口的图片。获取到滑块对象后调用 click() 方法触发点击，可以使缺口图片呈现出来：
# 点按呼出缺口图片

1 slider = self.get_slider()
2 slider.click()

get_geetest_image() 方法获取网页截图，调用 crop() 方法将图片裁切出来，返回 Image 对象。

分别将不带缺口的图片和带缺口的图片赋值给变量 image1 和 image2，接下来对比图片获取缺口。这里采用遍历图片的每一个坐标点，获取两张图片对应像素的 RGB 数据。若是两者的RGB 数据差距在必定范围内，就表明两个像素相同，继续比对下一个像素点。若是差距超过必定范围，则表明像素点不一样，当前位置即为缺口位置，代码实现以下：

 1 def open(self):  2     """
 3  打开网页输入用户名密码  4  :return: None  5     """
 6  self.browser.get(self.url)  7     username = self.wait.until(EC.presence_of_element_located((By.ID, 'input1')))  8     password = self.wait.until(EC.presence_of_element_located((By.ID, 'input2')))  9  username.send_keys(self.username) 10  password.send_keys(self.password) 11 
12 def get_gap(self, image1, image2): 13     """
14  获取带缺口的偏移量 15  :param image1: 不带缺口的图片 16  :param image2: 带缺口的图片 17  :return: 18     """
19     left = 60
20     for i in range(left, image1.size[0]): 21         for j in range(image1.size[1]): 22             if not self.is_pixel_equal(image1, image2, i, j): 23                 left = i 24                 return left 25     return left 26 
27 def is_pixel_equal(self, image1, image2, x, y): 28     """
29  判断两个像素是否相同 30  :param image1: 图片1 31  :param image2: 图片2 32  :param x: 位置x 33  :param y: 位置y 34  :return: 像素是否相同 35     """
36     # 取两个图片的像素点
37     pixel1 = image1.load()[x,y] 38     pixel2 = image2.load()[x,y] 39     threshold = 60
40     if abs(pixel1[0] - pixel2[0]) < threshold and abs(pixel1[1] - pixel2[1]) < threshold and abs( 41         pixel1[2] - pixel2[2]) < threshold: 42         return True 43     else: 44         return False

open() 方法是打开登陆页面，并输入用户名和密码。get_gap() 方法是获取缺口位置的方法。此方法的参数是两张图片，一张是带缺口的图片，另外一张是不带缺口的图片。这里采用遍历两张图片的每一个像素，利用 is_pixel_equal() 方法判断两张图片同一位置的像素是否相同。比较两张图 RGB 的绝对值是否均小于定义的阈值 thresold。若是绝对值均在阈值以内，则表明像素点相同，继续遍历。不然表明不相同的像素点，就是缺口的位置。

经过对比两张图片能够发现，两张图片有两处明显不一样的地方：一个是待拼合的滑块，一个是缺口。滑块的位置会出如今左边位置，缺口会出如今与滑块同一水平线的位置，因此缺口通常会在滑块的右侧。若是要寻找缺口，直接从滑块右侧寻找便可。这里直接设置遍历的起始横坐标为60，也就是从滑块的右侧开始识别，这样识别出的结果就是缺口的位置。

识别完缺口位置，接下来就是模拟拖动。

八、 模拟拖动
模拟拖动的坑比较多。调用拖动的相关函数将滑块拖动到对就位置，若是是匀速运动，极验会识别出是程序在操做，由于人不能作到彻底匀速拖动。极验验证码利用机器学习模型，筛选此类数据为机器操做，验证码识别失败。

若是将拖动过程划分几段，每段设置一个平均速度，速度围绕平均速度小幅度随机拉动，这样也不能完成验证。使用彻底模拟加速减速的过程可经过验证。前段滑块作匀加速运动，后段滑块作匀减速运动，利用物理学的加速度公式可完成验证。

滑动滑块的加速度用 a 表示，当前速度用 v 表示，初始速度用 v0 表示，位移用 x 表示，所须要时间用 t 表示，它们之间的关系用以下公式表达：
x = v0 * t + 0.5 * a * t * t
v = v0 + a * t
利用这两个公式可构造轨迹移动算法，计算出先加速后减速的运动轨迹，用代码来实现以下所示：

 1 def get_track(self, distance):  2     """
 3  根据偏移量获取移动轨迹  4  :param distance: 偏移量  5  :return: 移动轨迹  6     """
 7     # 移动轨迹
 8     track = []  9     # 当前位移
10     current = 0 11     # 减速阈值
12     mid = distance * 4 / 5
13     # 计算间隔
14     t = 0.2
15     # 初速度
16     v = 0 17 
18     while current < distance: 19         if current < mid: 20             # 加速度为正2
21             a = 2
22         else: 23             # 加速度为负3
24             a = -3
25         # 初速度v0
26         v0 = v 27         # 当前速度v = v0 + a * t
28         v = v0 + a * t 29         # 移动距离 x = v0*t + 1/2 * a * t^2
30         move = v0 * t + 0.5 * a * t * t 31         # 当前位移
32         current += move 33         # 加入轨迹
34  track.append(round(move)) 35     return track

这段代码中定义了 get_track() 方法，参数是移动的总距离，返回的是运动轨迹。运动轨迹用列表 track 表示，列表的每一个元素表明每次移动多少距离。

变量mid是减速阈值，是加速到什么位置开始减速，这里mid值为 4/5，即模拟前 4/5 路是加速过程，后 1/5 路是减速过程。

当前位移距离变量 current 初始是0，进入 while 循环，条件是当前位移小于总距离。在循环里分段定义了加速度，在加速过程的加速度定义为 2，减速过程的加速度定义为 -3，以后使用位移公式计算出某个时间段内的位移，将当前位移更新并记录到轨迹里面。直到运动轨迹达到总距离时，循环终止。最后获得 track 记录了每一个时间间隔移动了多少位移，这样就获得滑块的运动轨迹。最后按照运动轨迹拖动滑块便可，代码以下所示：

 1 def move_to_gap(self, slider, track):  2     """
 3  拖动滑块到缺口处  4  :param slider: 滑块  5  :param track: 轨迹  6  :return:  7     """
 8  ActionChains(self.browser).click_and_hold(slider).perform()  9     for x in track: 10         ActionChains(self.browser).move_by_offset(xoffset=x, yoffset=0).perform() 11     time.sleep(0.5) 12     ActionChains(self.browser).release().perform()

这里传入的参数为滑块对象和运动轨迹。先调用 ActionChains 的 click_and_hold() 方法按住拖动底部滑块，遍历运行轨迹获取每小段位移距离，调用 move_by_offset() 方法移动此位移，最后调用 release()方法松开鼠标。

接着还须要完善表单，模拟点击登陆按钮，成功登陆后跳转到后台。最终的完整代码以下所示：

 1 import time  2 from io import BytesIO  3 from PIL import Image  4 from selenium import webdriver  5 from selenium.webdriver import ActionChains  6 from selenium.webdriver.common.by import By  7 from selenium.webdriver.support.ui import WebDriverWait  8 from selenium.webdriver.support import expected_conditions as EC  9 
 10 USERNAME = 'xx'
 11 PASSWORD = 'xxx'
 12 BORDER = 6
 13 
 14 class CrackGeetest():  15     def __init__(self):  16         self.url = 'https://passport.cnblogs.com/user/signin'
 17         self.browser = webdriver.Chrome()  18         self.wait = WebDriverWait(self.browser, 20)  19         self.username = USERNAME  20         self.password = PASSWORD  21 
 22     def __del__(self):  23  self.browser.close()  24 
 25     def get_login_button(self):  26         """
 27  获取登陆按钮，调出极验验证码  28  :return: 登陆按钮对象  29         """
 30         #button_login = self.wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'button')))
 31         button_login = self.wait.until(EC.element_to_be_clickable((By.ID, 'signin')))  32         return button_login  33 
 34     def get_geetest_button(self):  35         """
 36  获取初始验证按钮，即点击按钮进行验证  37  :return: 按钮对象  38         """
 39         button = self.wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'geetest_radar_tip')))  40         return button  41 
 42     def get_position(self):  43         """
 44  获取验证码位置  45  :return: 验证码位置元组  46         """
 47         img = self.wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'geetest_canvas_img')))  48         time.sleep(2)  49         location = img.location  50         size = img.size  51         top, bottom, left, right = location['y'], location['y'] + size['height'], location['x'], location['x'] + size['width']  52         return (top, bottom, left, right)  53 
 54     def get_screenshot(self):  55         """
 56  获取网页截图  57  :return: 截图对象  58         """
 59         screenshot = self.browser.get_screenshot_as_png()  60         screenshot = Image.open(BytesIO(screenshot))  61         return screenshot  62 
 63     def get_slider(self):  64         """
 65  获取滑块  66  :return: 滑块对象  67         """
 68         slider = self.wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'geetest_slider_button')))  69         return slider  70 
 71     def get_geetest_image(self, name='captcha.png'):  72         """
 73  获取验证码图片  74  :return: 图片对象  75         """
 76         top, bottom, left, right = self.get_position()  77         print('验证码位置', top, bottom, left, right)  78         screenshot = self.get_screenshot()  79         captcha = screenshot.crop((left, top, right,bottom))  80  captcha.save(name)  81         return captcha  82 
 83     def open(self):  84         """
 85  打开网页输入用户名密码  86  :return: None  87         """
 88  self.browser.get(self.url)  89         username = self.wait.until(EC.presence_of_element_located((By.ID, 'input1')))  90         password = self.wait.until(EC.presence_of_element_located((By.ID, 'input2')))  91  username.send_keys(self.username)  92  password.send_keys(self.password)  93 
 94     def get_gap(self, image1, image2):  95         """
 96  获取带缺口的偏移量  97  :param image1: 不带缺口的图片  98  :param image2: 带缺口的图片  99  :return: 100         """
101         left = 60
102         for i in range(left, image1.size[0]): 103             for j in range(image1.size[1]): 104                 if not self.is_pixel_equal(image1, image2, i, j): 105                     left = i 106                     return left 107         return left 108 
109     def is_pixel_equal(self, image1, image2, x, y): 110         """
111  判断两个像素是否相同 112  :param image1: 图片1 113  :param image2: 图片2 114  :param x: 位置x 115  :param y: 位置y 116  :return: 像素是否相同 117         """
118         # 取两个图片的像素点
119         pixel1 = image1.load()[x,y] 120         pixel2 = image2.load()[x,y] 121         threshold = 60
122         if abs(pixel1[0] - pixel2[0]) < threshold and abs(pixel1[1] - pixel2[1]) < threshold and abs( 123             pixel1[2] - pixel2[2]) < threshold: 124             return True 125         else: 126             return False 127 
128     def get_track(self, distance): 129         """
130  根据偏移量获取移动轨迹 131  :param distance: 偏移量 132  :return: 移动轨迹 133         """
134         # 移动轨迹
135         track = [] 136         # 当前位移
137         current = 0 138         # 减速阈值
139         mid = distance * 4 / 5
140         # 计算间隔
141         t = 0.2
142         # 初速度
143         v = 0 144 
145         while current < distance: 146             if current < mid: 147                 # 加速度为正2
148                 a = 2
149             else: 150                 # 加速度为负3
151                 a = -3
152             # 初速度v0
153             v0 = v 154             # 当前速度v = v0 + a * t
155             v = v0 + a * t 156             # 移动距离 x = v0*t + 1/2 * a * t^2
157             move = v0 * t + 0.5 * a * t * t 158             # 当前位移
159             current += move 160             # 加入轨迹
161  track.append(round(move)) 162         return track 163 
164     def move_to_gap(self, slider, track): 165         """
166  拖动滑块到缺口处 167  :param slider: 滑块 168  :param track: 轨迹 169  :return: 170         """
171  ActionChains(self.browser).click_and_hold(slider).perform() 172         for x in track: 173             ActionChains(self.browser).move_by_offset(xoffset=x, yoffset=0).perform() 174         time.sleep(0.5) 175  ActionChains(self.browser).release().perform() 176 
177     def login(self): 178         """
179  登陆 180  :return: None 181         """
182         submit = self.wait.until(EC.element_to_be_clickable((By.ID, 'signin'))) 183  submit.click() 184         time.sleep(10) 185         print('登陆成功') 186 
187     def crack(self): 188         # 输入用户名和密码
189  self.open() 190         # 点击登陆按钮，调出验证按钮
191         login_button = self.get_login_button() 192  login_button.click() 193         # 点击验证按钮
194         button = self.get_geetest_button() 195  button.click() 196         # 获取验证码图片
197         image1 = self.get_geetest_image('captcha1.png') 198         # 点按呼出缺口
199         slider = self.get_slider() 200  slider.click() 201         # 获取带缺口的验证码图片
202         image2 = self.get_geetest_image('captcha2.png') 203         # 获取缺口位置
204         gap = self.get_gap(image1, image2) 205         print('缺口位置', gap) 206         # 减去缺口位移
207         gap -= BORDER 208         # 获取移动轨迹
209         track = self.get_track(gap) 210         print('滑动轨迹', track) 211         # 拖动滑块
212  self.move_to_gap(slider, track) 213 
214         success = self.wait.until( 215             EC.text_to_be_present_in_element((By.CLASS_NAME, 'geetest_success_radar_tip_content'), '验证成功')) 216         print(success) 217 
218         # 失败后重试
219         if not success: 220  self.crack() 221         else: 222  self.login() 223 
224 if __name__ == '__main__': 225     crack = CrackGeetest() 226     crack.crack()

通过上述学习，要掌握极验验证码的识别思路，如何识别缺口位置、如何生成运行轨迹等。有相似原理的验证码，可利用这个思路完成识别过程。

最新代码地址：https://github.com/cc55michael/GetWebPageData/blob/master/crack-geetest.py