LSTM语音识别

文章目录

• 前言
• 一、绪论
• 1.1语音识别的意义
• 1.2语音识别的现状
• 1.3课题研究方向
• 二、语音识别基本原理
• 2.1发声机理
• 2.2 识别原理
• 2.3 频域分析
• 2.3.3 Mel频率
• 2.4 Mel频率倒谱系数
• 三、声学模型
• 3.1隐马尔可夫模型
• 3.2深度神经网络
• 3.3循环神经网络
• 四、CTC
• 4.1 CTC解码
• 4.2转录损耗

前言

  机器学习大多数属于浅层模型（GMM、HMM等），浅层模型非线性变换能力较弱，不足以刻画复杂的语音数据（高维特征），识别性能提升非常有限，因此本课题针对声学模型GMM-HMM进行改进。由于GMM的输入是单帧，忽视了协同发音的影响，因此使用拼接帧作为深度神经网络（DNN）的输入对观测概率建模。传统的HMM和RNN都可以对时序建模，由于HMM是浅层模型以及RNN存在梯度消失问题，因此用双向长短期记忆网络（BLSTM）对时序建模。端到端问题需要强制对齐后才能进行训练，人工对齐所需的时间开销巨大，基于联结主义时序分类器（CTC）的解决方法。实验结果表明，基于DNN-LSTM端到端语音识别在thchs30上的错词率为4%。最后将此识别系统为核心实现自动添加字幕，减小制作视频周期。

一、绪论

1.1语音识别的意义

  人类能够走向文明社会，在于人类在生存竞争中学到许多经验，并且不断的流传积累。而经验流传的最有效的方式就是语言交流，所以语言对于人类的发展很重要。由于语言的多样性，使得不同地区的人们之间的交流构成一定的阻碍。随着技术发展诞生了机器翻译，机器翻译冲破这些的障碍成为可能，而实现语音到语音的机器翻译的前提就是语音识别。
  今年初，由于新冠肺炎疫情的影响，对人们的出行造成了很大的阻碍。例如在电梯里，病毒可能附着在触控面板上，在按电梯按钮的时候会增加直接接触病毒的风险，语音识别为实现无接触式操控提供了可能，从而降低感染的风险。在正常日常生活中，智能语音音箱，手机语音助手，公共场合的引导系统等，都离不开语音识别，其他有价值的应用还有待挖掘。所以本文将围绕语音识别的具体实现以及应用展开分析。

1.2语音识别的现状

  20世纪50年代，贝尔实验室成功开发出一款能够识别10个数字的孤立词识别系统[1]，从此拉开了语音识别系统研究的帷幕。在此后的几十年时间里进展缓慢，由于隐马尔可夫模型（HMM）可以对时间序列建模[2,3]，因此在20世纪80年代开始HMM在语音识别的中成为重点研究对象，例如李开复在读期间开发的基于GMM-HMM的SPHINX系统[4]。HMM有两个重要的参数，即转移概率和观测概率，GMM（高斯混合模型）就是对后者进行估计（建模）。20世纪80年代后期，人们尝试将人工神经网络引入语音识别，但是由于当时算力的不足以及网络结构复杂，导致其效果不如基于GMM-HMM的识别系统[5,6]。
  2006年，Hinton对神经网络节点使用受限波尔兹曼机（RBM）进行初始化[7],解决了深度神经网络训练过程容易陷入局部最优的问题，三年后，Hinton和Mohame D[8] 成功将深度置信网络（DBN）在小词汇量TIMIT上实现连续语音识别。2011-2012年，俞栋、邓力和Hinton等人将DNN（深度神经网络）替换声学模型GMM-HMM中的GMM对观测概率的估计，将DNN-HMM应用在大词汇量连续语音识别上，词错率降低了30%[9]，取得了较大的进步。2015年10月，清华大学王东使用DNN-HMM在清华开源中文语音数据集thchs30上实现大词汇量连续中文语音识别，词错率达到23.3%[10]。
  由于DNN-HMM需要分别训练两个模型，并且不能解决长期依赖问题。循环神经网络（RNN）具有一定的“记忆”功能，在对时间序列问题的处理优于DNN-HMM框架。因此RNN在语音识别中得到广泛的应用。但是RNN存在一些问题，就是在反向传播过程中，隐藏层间的矩阵偏导数包含指数部分，会导致梯度消失或梯度爆炸[11]，因此不能解决更长的依赖问题。为此HOCHREITER S[12]等人为了克服梯度消失或者梯度爆炸，提出在RNN的基础上增加“门”结构控制信息流，即长短期记忆网络（LSTM）。双向结构LSTM比单向LSTM在长期依赖问题上处理得更好。但是双向LSTM需要读取完整段语音特征数据才能处理，因此实时性差。
  双向LSTM不仅实时性差，而且网络结构复杂，需耗费大量的计算资源，对此讯飞（2015年）提出了前馈序列记忆网络（FSMN）,FSMN在DNN的隐藏层加入记忆单元，实现非循环的前馈结构，最终将词错率降至13.2%[13]。

1.3课题研究方向

  本课题将围绕建模能力、上下文相关以及强制对齐这三个问题展开讨论。在声学模型GMM-HMM的基础上进行改进，使用DNN对观测概率的估计，将建模能较力弱的浅层HMM用RNN替换。由于RNN存在梯度消失问题，导致上下文相关性不强，基于RNN改进的LSTM，LSTM通过增加“门”结构，一些重要的信息得到保留。为了使上下文相关性更强，使用双向结构的LSTM，双向LSTM不仅学习历史信息，还学习未来的信息。
  本课题的目标就是打造一个黑盒，即喂入音频吐出对应文本，不需要手动强制对齐音频和标签。联结主义时序分类器（Connectionist Temporal Classification,CTC）不需要强制对齐，连续且相同的字符，只输出最大概率的字符，并引入一个空状态替换重复的字符，因此CTC不需要一一对齐，输出是一串尖峰序列。直接将CTC的转录损耗期望作为损失函数，就可以进行训练了。因为转录损耗期望的后验概率维度太复杂，采用MCMC采用作为输入。
  4G时代将视频服务逐渐趋于移动端，视频邻域快速增长，尤其是短视频和Vlog。而然视频的制作很耗时，特别是添加字幕，带字幕的视频能增加用户体验，所以本课题从这一朴素的想法出发。首先从视频中提取音频，然后将音频作为语音识别系统的的输入，系统输出对应文本，最后将文本添加到视频中作为字幕。

二、语音识别基本原理

2.1发声机理

  当人在说话时，胸腔作为动力源产生气流，气流经过气管，当声门打开时，声带不振动或振动频率很小，发出的音为辅音，其波形类似于白噪声；由于声门有一定的韧性，所以当声门闭合时，声带在气流的冲击下，声门不断的开启和闭合，产生高频振动，这就是所谓的元音。在语音信号的线性产生模型中，声带作为激励源，声道作为共振腔。当声道的形状不同时，声道能谐振出不同的频率，不同的频率对应着不同的元音。由于每个人的声带都不相同，声带的振动频率不同，所以这是能区别不同人的重要特征，这些特征可用基因周期来描述。

2.2 识别原理

  语音识别系统分成前端处理和后端处理，前端为信号处理，包括端点检测和声学特征提取等，端点检测可用短时能量和短时过零率描述，使用Mel频率倒谱系数作为声学特征。后端处理有语言模型、声学模型和解码搜索。声学特征矢量经过训练得到声学模型,语言模型词的链式概率得到。结合语言模型和声学模型，利用最大后验概率（MAP）得到词向量，其公式为
$\begin{aligned}\tilde{W} &=\arg \max _{w} P\left(W \mid O_{1}^{T}\right) \\ &=\arg \max _{w} \frac{P\left(O_{1}^{T} \mid W\right) P(W)}{P\left(O_{1}^{T}\right)} \\ & \propto \arg \max _{w} P\left(O_{1}^{T} \mid W\right) P(W)\end{aligned}$W~​=argwmax​P(W∣O1T​)=argwmax​P(O1T​)P(O1T​∣W)P(W)​∝argwmax​P(O1T​∣W)P(W)​(2-1)
式中， $P(W)$P(W)为语言模型， $P\left(W \mid O_{1}^{T}\right)$P(W∣O1T​)为声学模型，KaTeX parse error: Expected '\right', got 'EOF' at end of input: …\left(O_{1}^{T}为声学特征的概率，和词向量无关，所以可以去掉。

2.3 频域分析

2.3.1 离散傅里叶变换
  傅里叶变换分为连续傅里叶变换和离散傅里叶变换DFT[14],因为语音信号经采样后存储在计算机内的是离散信号，所以我们要用到的是DFT。将语音分帧后，要在每一帧提取一组13个MFCC系数作为语音的特征。每一帧经过一个DFT得到一个频谱，数学表达式如（2-2）所示。
$X_{i}(k)=\sum_{n=1}^{N} x_{i}(n) w(n) e^{-j \frac{2 \pi k n}{N}}, 0 \leq k \leq N$Xi​(k)=n=1∑N​xi​(n)w(n)e−jN2πkn​,0≤k≤N（2-2）
$x_{i}(n)$xi​(n)表示第i帧语音信号，w(n)是窗长为N个采样点的窗函数（例如汉明窗），并且K是离散傅里叶的长度。
2.3.2能量谱
  在时域上很难观察出语音信号的一些重要特性，需要将语音信号通过DFT变换到频域上，在频域取平方得到能量分布，然后研究共振峰以及变换过程，即谱包络，对基音周期还可以研究频谱，不同的能量谱，对应着不同的特性能量谱的数学表达式为(2-3)。
$E_i(k)=\left | X_i(k) \right | ^2$Ei​(k)=∣Xi​(k)∣2 (2-3)

2.3.3 Mel频率

  人的耳蜗能共振不同的频率，频率的变化是非线性的。研究人员设计出一组类似于人耳蜗的滤波器组，滤波器为三角滤波器，中心频率是按照Mel频率刻度均匀排列，图2.3.1为10个三角滤波器组成的Mel滤波器组[5]，滤波器组的数学表达式为(2-4)。
$H_m(k)=\left\{\begin{matrix} \frac{k-f(m-1)}{f(m)-f(m-1)},f(m-1)<k\le f(m) \\ \frac{f(m+1)-k}{f(m+1)-f(m)},f(m)<k\le f(m+1)\\ 0,其他 \end{matrix}\right.$Hm​(k)=⎩⎪⎨⎪⎧​f(m)−f(m−1)k−f(m−1)​,f(m−1)<k≤f(m)f(m+1)−f(m)f(m+1)−k​,f(m)<k≤f(m+1)0,其他​
(2-4)
式(2-4)中，M表示滤波器的个数， $f(m)$f(m)为中心频率。 $f(m)$f(m)的定义如下：

$f(m)=\left(\frac{N}{f_{s}}\right) M^{-1}\left[M\left(f_{1}\right)+m \frac{M\left(f_{h}\right)-M\left(f_{1}\right)}{M+1}\right]$f(m)=(fs​N​)M−1[M(f1​)+mM+1M(fh​)−M(f1​)​](2-5)
式(2-5)中，为采样频率，为FFT的长度，为滤波器的最小频率，为滤波器的最小频率。 $M(f)$M(f)表示将线性频谱转换为Mel非线性频谱，其换算公式为(2-6)：
$M(f)=1125 \log \left(1+\frac{f}{700}\right)$M(f)=1125log(1+700f​)
(2-6) 2.3.4 同态解卷积
  声门的作为激励源，当频率等于声道（口腔）的固有频率时，声道会产生谐振，此时谐振的频率被称为共振峰。口腔肌肉属于软组织，能吸收声带振动时产生的能量，因此可以将口腔看作是一个阻尼大的共振器。当口腔形状不同时，更一般的来说，当声道（口腔、舌位和唇）不同时，能共振不同的频率，不同的频率也对应着不同的元音，所以共振峰是描述声道特性的重要参数，共振峰频率与舌位的关系如图所示。
  语音信号等于声门激励信号与声道响应信号的卷积。所以为了对共振峰进行估计，可以对解卷积，得到和，即对应着能量谱上的谱包络。将和波形的变化快慢抽象理解为高频和低频，然后映射到伪频率坐标上，这就是所谓的倒谱，公式如(2-7)所示。因此在倒谱用低通滤波器和高通滤波器就可以得到共振峰（低频部分）和基音周期（高频部分）。
$C E P_{i}(k)=\text { DFT }^{-1}\left(\ln \left|E_{i}(k)\right|\right)$CEPi​(k)= DFT −1(ln∣Ei​(k)∣)(2-7)
式（2-7）， $DFT^{-1}$DFT−1为 $DFT$DFT的逆变换。

2.4 Mel频率倒谱系数

  Mel频率倒谱系数（Mel Frequency Cepstrum coefficient,MFCC）就是在Mel频谱上进行倒谱分析。简单来说就是帧信号经过DFT后，得到的结果平方，即得到功率谱，然后经过Mel频率滤波器组将线性频率映射到非线性Mel频率上，其对结果进行同态解卷积。计算过程如下：语音信号经过DFT得到频谱；然后平方得到能量谱，通入Mel频率滤波器组转换到Mel频率上，每个滤波都有叠加部分；将每个滤波器的输出进行同态解卷积，即进行对数处理，得到相应的对数功率谱log,然后进行反离散余弦变换（Discrete Cosine Transform,DCT），一般取DCT后的12～16个系数作为MFCC系数,公式为(2-8)。
$C_{n}=\sum_{k=1}^{M} \log x(k) \cos [\pi(k-0.5) n / M], n=1,2,\cdots,L$Cn​=k=1∑M​logx(k)cos[π(k−0.5)n/M],n=1,2,⋯,L(2-8)
  MFCC特征只描述了一个信号帧的能量谱包络，只能将其作为静态特征。做一阶和二阶差分得到对应的delta系数(动态特征)，其公式为(2-9)。特征矢量等于静态特征加上动态特征，静态特征取13个时，特征矢量的长度为26。
$d_{t}=\frac{\sum_{n=1}^{N} n\left(c_{t+n}-c_{t-n}\right)}{2 \sum_{n=1}^{N} n^{2}}$dt​=2∑n=1N​n2∑n=1N​n(ct+n​−ct−n​)​ (2-9)

三、声学模型

3.1隐马尔可夫模型

3.1.1模型参数
  HMM的模型参数 $\lambda=(\pi,A,B)$λ=(π,A,B)， $\pi$π表示初始状态概率矢量 $[a_{ij}]_{N\times N}$[aij​]N×N​，A表示状态转移矩阵，B表示观察概率矩阵 $[b_{jk}]_{N\times M}$[bjk​]N×M​。 $a_{ij}$aij​表示第i个状态转移到第j个状态的概率， $b_{jk}$bjk​表示第j个状态的第k个发射概率。3.1.2假设
①齐次马尔可夫假设：t时刻的状态只和t-1时刻有关，用条件概率表示为：
$p\left(i_{t+1} \mid i_{t}, i_{t-1}, \cdots, i_{1}, o_{t}, o_{t-1}, \cdots, o_{1}\right)=p\left(i_{t+1} \mid i_{t}\right)$p(it+1​∣it​,it−1​,⋯,i1​,ot​,ot−1​,⋯,o1​)=p(it+1​∣it​)(3-1)
②　 观测独立性假设：任意一时刻的观测只和当前时刻有关，用条件概率表示为：
$p\left(o_{t} \mid i_{t}, i_{t-1}, \cdots, i_{1}, o_{t-1}, \cdots, o_{1}\right)=p\left(o_{t} \mid i_{t}\right)$p(ot​∣it​,it−1​,⋯,i1​,ot−1​,⋯,o1​)=p(ot​∣it​) (3-2)
3.1.3HMM解码
  由(2-1)式可知，给定语音信号的条件下，求最大概率的词序列 $o=(o_1,o_2,\cdots,o_T)$o=(o1​,o2​,⋯,oT​)，将语音信号看作HMM的观测序列，词序列看作HMM的隐状态序列 $s=(s_1,s_2,\cdots,s_T)$s=(s1​,s2​,⋯,sT​)，因此语音识别对应于HMM的解码问题。因为任意的状态都对应着一个观测概率分布 $q=(q_1,q_2,\cdots,q_N)$q=(q1​,q2​,⋯,qN​)，因此解码问题的计算复杂度为 $N^T$NT。基于动态规划的算法，Viterbi算法将语音识别的最大概率p等价于最短路径 $\frac{1}{p}$p1​，计算并记录t时刻所有节点的最短路径，这是一个前向过程，直到T时刻结束，如图3.1.2，选择红绿蓝中最短的路径作为结果。

3.2深度神经网络

3.2.1 DNN的意义
  在算力的不断提高以及数据不断的增长的背景之下，深度学习迎来高速发展。相对于传统的浅层模型，深层模型对复杂的数据建模能力更强，归功于模型中具有多层的非线性变换（能区分更多的类别）的隐层，所以深度学习在学术界和工业界得到了高度重视。图3.2.1 DNN网络结构图  深度神经网络（Deep Neural Network,DNN） $^{[15]}$[15]可以有多层隐层，每层隐层的节点数很多，虽然每个节点只有简单的非线性变换，但是多个隐层组合起来就能产生出非常复杂的非线性变换，所以DNN能将原始输入特征转换为更加具有不变性和鉴别性的特征，这些特征便于用分类器分类。3.2.2前向传播
  DNN由许多神经元构成，神经元就是所谓的感知机，其结构为图3.2.2所示。感知机是将输入线性加权的线性分类模型经过激活函数后变成非线性分类模型，非线性分类模型具有更优的决策边界，感知机的数学表达式为(3-3)，式中 $v^0$v0表示输入层。计算完隐藏层1所有的神经元后，用同样的方式计算下一层。对于分类任务，输出层每个神经元表示一个类别，输出的是每一个类别 $i \in \left \{ 1,2,\cdots,C \right \}$i∈{1,2,⋯,C}的概率值，输出层 $v^L$vL满足 $v^L\ge 0$vL≥0并且 $\sum_{i=1}^Cv_i^L=1$∑i=1C​viL​=1，所以利用softmax（也是激活函数）进行归一化，softmax表达式为(3-4)。
$v^{\ell}=f\left(z^{\ell}\right)=f\left(W^{\ell} v^{\ell-1}+b^{\ell}\right), 0<\ell<\mathrm{L}$vℓ=f(zℓ)=f(Wℓvℓ−1+bℓ),0<ℓ<L(3-3)
$v_{i}^{L}=\operatorname{soft} \max \left(z_{i}^{L}\right)=\frac{e^{z_{i}^{L}}}{\sum_{j=1}^{c} e^{z_{j}^{L}}}$viL​=softmax(ziL​)=∑j=1c​ezjL​eziL​​ (3-4)式(3-1)中， $v^{\ell}$vℓ表示第 $\ell$ℓ层神经元向量的输出， $w^{\ell}$wℓ为 $\ell$ℓ层和 $\ell-1$ℓ−1层的权重矩阵， $b^\ell$bℓ为 $\ell$ℓ层的偏置，激活函数 $f(\cdot)$f(⋅)有sigmoid函数、tanh函数和relu函数等，如图3.2.3所示。他们的表达式为(3-5)至(3-7)。 $\text { sigmoid }(x)=\frac{1}{1+e^{-x}}$ sigmoid (x)=1+e−x1​ (3-5)
$\tanh (x)=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}$tanh(x)=ex+e−xex−e−x​ (3-6) $\operatorname{relu}(x)=\max (0, x)$relu(x)=max(0,x) (3-7)
3.2.3反向传播
  DNN属于监督学习，目的是将输出值拟合真实值（观测），可以通过输出值与真实值之间的距离来度量。对分类任务的输出是概率分布，一般使用交叉熵（Cross　Entropy，CE）来度量两个概率分布的相似度，可用(3-8)式表示。
$J_{\mathrm{CE}}(W, \mathrm{b} ; o, \mathrm{y})=-\sum_{i=1}^{c} y_{i} \log v_{i}^{L}$JCE​(W,b;o,y)=−i=1∑c​yi​logviL​(3-8)
式(3-8)中， $o$o为观察序列， $y$y是相应的输出序列， $y_i$yi​是属于类别 $i$i的经验分布（标注）， $v_i^L$viL​是DNN估计的分布。我们的目的是拟合这两个分布，等价于最小化交叉熵损失函数，使用梯度下降学习参数(3-9)和(3-10)，式中 $\nabla b_{t}^{\ell}$∇btℓ​ $\nabla W_{t}^{\ell}$∇Wtℓ​分别为权重矩阵和偏置的偏导数，具体表达式为(3-11)和(3-12)。
$W_{t+1}^{\ell} \leftarrow W_{t}^{\ell}-\varepsilon \nabla W_{t}^{\ell}$Wt+1ℓ​←Wtℓ​−ε∇Wtℓ​ (3-9)
$b_{t+1}^{\ell} \leftarrow b_{t}^{\ell}-\varepsilon \nabla b_{t}^{\ell}$bt+1ℓ​←btℓ​−ε∇btℓ​ (3-10)

$\nabla_{t_{t}^{\ell}} J_{C E}(W, b ; o, y)=\nabla_{z_{t}^{\ell}} J_{c E}(W, b ; o, y) \frac{\partial z_{t}^{L}}{\partial W_{t}^{L}} \\=e_{t}^{L} \frac{\partial\left(W_{t}^{L} v_{t}^{L-1}+b_{t}^{L}\right)}{\partial W_{t}^{L}} \\=e_{t}^{L}\left(v_{t}^{L-1}\right)^{T} \\=\left(v_{t}^{L}-y\right)\left(v_{t}^{L-1}\right)^{T}$∇ttℓ​​JCE​(W,b;o,y)=∇ztℓ​​JcE​(W,b;o,y)∂WtL​∂ztL​​=etL​∂WtL​∂(WtL​vtL−1​+btL​)​=etL​(vtL−1​)T=(vtL​−y)(vtL−1​)T(3-11)式(3-11)中， $\begin{aligned}e_{t}^{L} &=\nabla_{e_{t}^{\iota}} J_{C E}(W, b ; o, y) \\ &=\frac{\partial \sum_{i=1}^{c} y_{i} \log \operatorname{soft} \max _{i}\left(z_{t}^{L}\right)}{\partial z_{t}^{L}} \\&=\frac{\partial \sum_{i=1}^{c} y_{i} \log \sum_{j=1}^{c} e^{z_{j}^{L}}}{\partial z_{t}^{L}}-\frac{\partial \sum_{i=1}^{c} y_{i} \log e^{z_{i}^{L}}}{\partial z_{t}^{L}} \\ &=\frac{\partial \log \sum_{j=1}^{c} e^{z_{j}^{L}}}{\partial z_{t}^{L}}-\frac{\partial \sum_{j=1}^{c} y_{i} z_{i}^{L}}{\partial z_{t}^{L}}\\ &\begin{array}{l}=\left[\begin{array}{c}\frac{e^{z_{1}^{L}} }{\sum_{j=1}^{c} e^{z_{j}^{L}} }\\\vdots \\\frac{e^{z_{i}^{L}}}{\sum_{j=1}^{c} e^{z_{j}^{L}}} \\\vdots \\\frac{e^{z_{c}^{L}} }{\sum_{j=1}^{c} e^{z_{j}^{L}}}\end{array}\right]-\left[\begin{array}{l}y_{1} \\\vdots \\y_{i} \\\vdots \\y_{c}\end{array}\right] \\ &=\left(v_{t}^{L}-y\right)\end{array}\end{aligned}$etL​​=∇etι​​JCE​(W,b;o,y)=∂ztL​∂∑i=1c​yi​logsoftmaxi​(ztL​)​=∂ztL​∂∑i=1c​yi​log∑j=1c​ezjL​​−∂ztL​∂∑i=1c​yi​logeziL​​=∂ztL​∂log∑j=1c​ezjL​​−∂ztL​∂∑j=1c​yi​ziL​​=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​∑j=1c​ezjL​ez1L​​⋮∑j=1c​ezjL​eziL​​⋮∑j=1c​ezjL​ezcL​​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​−⎣⎢⎢⎢⎢⎢⎢⎡​y1​⋮yi​⋮yc​​⎦⎥⎥⎥⎥⎥⎥⎤​​=(vtL​−y)​​ $\nabla_{b_{t}^{\iota}} J_{C E}(W, b ; o, y)=\left(v_{t}^{L}-y\right)$∇btι​​JCE​(W,b;o,y)=(vtL​−y)(3-12)

3.3循环神经网络

3.3.1RNN
  使用MFCC来描述语音信号，即将MFCC作为语音信号的特征矢量，然后训练声学模型来寻找特征矢量的内在规律。语音数据是一种离散状态时序（动态离散状态）数据，对于这类问题可以使用隐马尔可夫模型解决，而HMM是一种浅层模型，对数据的建模能力有限，所以RNN应运而生。
  循环神经网络（Recurrent Neural Network,RNN）以神经网络为基础，相邻隐藏层相连，因此RNN是一个循环结构，如图3.3.1所示，也就是RNN能包含之前状态的信息，它拥有一定的“记忆功能”。所以RNN对于语音这种时序信号建模尤为适合。单隐层RNN可以描述为式(3-13)和(3-14)：
$h_{\mathrm{t}}=\mathrm{f}\left(\mathrm{W}_{\mathrm{x} h} \mathrm{x}_{\mathrm{t}}+\mathrm{W}_{h h} h_{\mathrm{t}-1}\right)$ht​=f(Wxh​xt​+Whh​ht−1​)(3-13)
$\mathrm{y}_{\mathrm{t}}=\mathrm{g}\left(\mathrm{W}_{\mathrm{hy}} h_{\mathrm{t}}\right)$yt​=g(Why​ht​) (3-14)
其中， $W_{Xh}$WXh​、 $W_{hh}$Whh​和 $W_{hy}$Why​分别为输入层到隐层、隐层到隐层和隐层到输出层的权重矩阵， $f(\cdot)$f(⋅)是tanh、relu、sigmoid等激活函数， $g(\cdot)$g(⋅)是softmax等。RNN的结构如图3.3.1所示，激活函数为tanh。  RNN存在的缺点就是存在梯度消失或梯度爆炸。为了使损失函数最小，需要反向传播更新参数，在的偏导数(3-15)： $\frac{\partial e_{t}}{\partial W_{h h}}=\sum_{1 \leq k \leq t} \frac{\partial e_{t}}{\partial h^{\dagger}} \Pi_{k \leq i \leq t} \frac{\partial h_{i}}{\partial h^{i-1}} \frac{\partial^{+} h_{k}}{\partial W_{h h}}$∂Whh​∂et​​=1≤k≤t∑​∂h†∂et​​Πk≤i≤t​∂hi−1∂hi​​∂Whh​∂+hk​​ (3-15)
其中， $e_{t}$et​为损失函数。
  文献[11]证明了 $\left \| \prod_{k\le i \le t } \frac{\partial h_i}{\partial h_{i-1}} \right \| \le \eta ^{t-k}$∥∥∥​∏k≤i≤t​∂hi−1​∂hi​​∥∥∥​≤ηt−k，即 $W_{hh}$Whh​的偏导包含指数部分。当 $\eta <1$η<1，会出现梯度消失现象，所以RNN只能处理短期依赖（相关）的序列； $\eta >1$η>1会出现梯度爆炸，更新步子太大，超出损失函数空间范围。
3.3.2LSTM
  长短期记忆网络(Long Short-Term Memory,LSTM)是为了克服RNN的梯度消失问题而提出的。LSTM在RNN上添加遗忘门、信息增加门和输出门来控制信息流，如图3.3.2，LSTM的表达式为（3-16）到（3-20）： $i_{t}=\sigma\left(W^{(x i)} x_{t}+W^{(h i)} h_{t-1}+W^{(c i)} c_{t-1}+b^{(i)}\right)$it​=σ(W(xi)xt​+W(hi)ht−1​+W(ci)ct−1​+b(i))（3-16） $f_{t}=\sigma\left(W^{(x f)} x_{t}+W^{(h f)} h_{t-1}+W^{(c f)} c_{t-1}+b^{(f)}\right)$ft​=σ(W(xf)xt​+W(hf)ht−1​+W(cf)ct−1​+b(f))（3-17） $c_{t}=f_{t} \bullet c_{t-1}+i_{t} \bullet \tanh \left(W^{(x c)} x_{t}+W^{(h c)} h_{t-1}+b^{(c)}\right)$ct​=ft​∙ct−1​+it​∙tanh(W(xc)xt​+W(hc)ht−1​+b(c))（3-18）
$o_{t}=\sigma\left(W^{(x o)} x_{t}+W^{(h o)} h_{t-1}+W^{(c o)} c_{t}+b^{(o)}\right)$ot​=σ(W(xo)xt​+W(ho)ht−1​+W(co)ct​+b(o))（3-19）
$h_{t}=o_{t} \bullet \tanh \left(c_{t}\right)$ht​=ot​∙tanh(ct​)（3-20）
其中， $i_t$it​、 $f_t$ft​、 $c_t$ct​、 $o_t$ot​、 $h_t$ht​分别表示t时刻的输入门、遗忘门、神经元激活、输出门和隐层向量。 $\sigma(\cdot)$σ(⋅)是sigmoid函数， $W$W是不同门的权重矩阵。图3.3.2为LSTM的结构图。3.3.3BLSTM
  一个音受相邻音的影响而发生变化称为协同发音现象，系统为应对协同发音现象，一般选用上下文相关对语音建模。例如“我肚子 _ _ ,准备去吃饭。”，只有前文的判断，缺失的可能是“好痛”、“胖了”等等，上下文都有，就可以推测出缺失的为“饿了”。BLSTM（Bidirectional LSTM,双向LSTM）由双向RNN和LSTM组合。将输入数据分为前向和后向两个部分，这样不仅可以对历史信息建模，还可以对未来信息建模。显然BLSTM比LSTM具有更好的识别效果，BLSTM网络结构图3.3.3所示。

四、CTC

4.1 CTC解码

  通常构建损失函数训练时需要将音频和标签字符一一对齐，人工逐帧对齐需要花费大量的时间，并且预测的结果不是整个序列的输出结果，联结主义时序分类器（Connectionist Temporal Classification，CTC）提供了可行的解决方案。给定输入序列 $x$x，最大化后验概率 $p(o\mid x)$p(o∣x)，其中 $o$o为输出序列，输入到输出的映射称为转录。首先研究完全正确的转录，即 $p(o\mid x)=1$p(o∣x)=1，由于人说话发音是连续的，相邻语音帧输出重复的字符，需要去重，并且由于每个人的说话速度不同或者字符间隔距离不同，导致 $x$x和 $o$o有多种转录关系，多种转录都对应着相同的，如式（4-1）和（4-2）所示，因此可以设计一个B变换将 $o$o映射到 $l$l。
（4-1）
$p(l \mid x)=\sum_{o \in B^{-1}(l)} p(o \mid x)$p(l∣x)=o∈B−1(l)∑​p(o∣x)（4-2）
式中表示将输出序列经过B变换映射到标签序列。因此，只需要穷举搜索满足B变换所有的输出序列 $o$o。然而对于每一个标签序列都穷举所有的输出序列,计算复杂度是指数级的，搜索空间太大，训练速度必然非常缓慢。穷举搜索类似于HMM的解码问题，CTC相当于HMM的扩展形式，图4.1.1为解码成“hello”的时序状态图。  通过在HMM每个状态之间插入一个空格（blank）状态，在图4.1.1中将空格状态定义为符号“_”，空格状态和非空状态都有一个自旋。搜索空间就可由包含空格的标签和时间序列组成，每个小圆圈表示状态，箭头表示状态转移。扩展的标签经过B转换后映射到标签上，B转换需满足如下约束：状态之间的转换，只能往右或者右下方向；相同的字符中间必须要有空格blank；非空字符不可被跳过；起点只能从第一个时间片的前两个开始；终点只能落在最后一个时间片的后两个。图4.1.2为标签“”的搜索空间，其中绿色的路径表示满足B变换约束条件的路径。
  HMM解码问题可以用Viterbi算法解决，CTC也可以。将路径集合分为前向和后向部分。在时刻t经过s的全部前向子路径概率之和为前向概率 $a_{t}(s)$at​(s)，其数学表达式为（4-3）~（4-6）。前向概率：
$\begin{aligned} &\alpha_{t}(s)=\sum_{e \in B^{-1}(I)} p\left(o_{1: t} \mid x\right) \\ &\alpha_{1}(1)=y_{t}^{l}, \alpha_{l}(2)=y_{i_{2}}^{l}, \alpha_{l}(s)=0, \forall s>2 \\ &a_{t}(s)=0, \forall s<l \mid+2(T-t)-1 \\ &\mathrm{\alpha}_{t}(s)=\left\{\begin{array}{c}\alpha_{t}(s)=\left(\alpha_{t-1}(s)+\alpha_{t-1}(s-1)\right) \cdot y_{i s}^{t}, \text { if } I_{s}=b \text { or } i_{s-2}=1 \\ \left(\alpha_{t-1}(s)+\alpha_{t-1}(s-1)+\alpha_{t-1}(s-2)\right) \cdot y_{i}^{t}, \text { otherwise }\end{array}\right. \end{aligned}$​αt​(s)=e∈B−1(I)∑​p(o1:t​∣x)α1​(1)=ytl​,αl​(2)=yi2​l​,αl​(s)=0,∀s>2at​(s)=0,∀s<l∣+2(T−t)−1αt​(s)={αt​(s)=(αt−1​(s)+αt−1​(s−1))⋅yist​, if Is​=b or is−2​=1(αt−1​(s)+αt−1​(s−1)+αt−1​(s−2))⋅yit​, otherwise ​​

  在时刻t经过s的全部后向子路径概率之和为前向概率，其数学表达式为（4-7）~（4-10）。后向概率：
$\begin{aligned}&\beta_{t}(s)=\sum_{o \in B^{-1}(l)} p\left(o_{t: T} \mid x\right)\\ &\beta_{T}(|l'|)=y_{-}^{T}, \beta_{T}(|l'|-1)=y_{i_{i \mid-1}}^{T}, \beta_{T}(s)=0, \forall s>|l'|-1\\ &\beta_{t}(s)=0, \forall s>2 t, \forall s>|l'|\\ &\beta_{t}(s)=\left\{\begin{array}{c}a_{t}(s)=\left(\beta_{t+1}(s)+\beta_{t+1}(s+1)\right) \cdot y_{i}^{t}, \quad \text { if }\left.\right|_{s}=b \text { or } l_{s+2}=I_{s} \\ \left(a_{t-1}(s)+a_{t-1}(s-1)+a_{t-1}(s-2)\right) \cdot y_{i, s}^{t}, \text { otherwise }\end{array}\right.\end{aligned}$​βt​(s)=o∈B−1(l)∑​p(ot:T​∣x)βT​(∣l′∣)=y−T​,βT​(∣l′∣−1)=yii∣−1​T​,βT​(s)=0,∀s>∣l′∣−1βt​(s)=0,∀s>2t,∀s>∣l′∣βt​(s)={at​(s)=(βt+1​(s)+βt+1​(s+1))⋅yit​, if ∣s​=b or ls+2​=Is​(at−1​(s)+at−1​(s−1)+at−1​(s−2))⋅yi,st​, otherwise ​​

  因此在任意的t时刻，遍历所有的s，即将得到全部路径的概率总和表示为式（4-11）：
$p(l\mid x)=\sum_{s=1}^{|l'|} \frac{a_{t}(s) \beta_{t}(s)}{y_{l_{s}'}^{t}}$p(l∣x)=s=1∑∣l′∣​yls′​t​at​(s)βt​(s)​（4-11）
  给定一个目标转录，CTC的目标函数为：
$\text { CTC }(x)=-\log p\left(l^{*} \mid x\right)$ CTC (x)=−logp(l∗∣x)（4-12）

4.2转录损耗

  上面提到的CTC的目标函数是正确转录的对数概率，不正确转录的概率容易被忽视。在此引入编辑距离，编辑距离是用来度量两个序列之间的相似程度，通俗的说就是将一个序列转换到另一个序列所需的编辑操作次数，其中一次只能编辑一个字符。序列的转换简称为转录，当转录所需编辑操作次数为零时，即表示正确转录，同理，当转录编辑操作次数不为零时，就是我们关注的不正确转录。转录序列就是经过编辑操作的输出序列，所以转录序列服从。将实值转录损耗函数定义为,则转录损耗期望可表示为（4-13）。
$\begin{aligned}L(x) &=\sum_{y} p(x \mid y) \cdot L(x, y) \\&=\sum_{y} \sum_{o \in B^{-1}(l) ,o_t=l_s'} p(0 \mid y) \cdot L(x, y) \\&=\sum_{o} p(o \mid x) \cdot L(x, B(o))\end{aligned}$L(x)​=y∑​p(x∣y)⋅L(x,y)=y∑​o∈B−1(l),ot​=ls′​∑​p(0∣y)⋅L(x,y)=o∑​p(o∣x)⋅L(x,B(o))​（4-13）
  由于后验概率分布太过复杂，所以无法精确的求解期望。根据大数定理，期望约等于均值，可以用MCMC（Markov Chain Monte Carlo，）来近似[16]。Markov链能收敛至某一个平稳分布，一般平稳分布比目标函数要简单的多，所以可以设计一个马尔可夫链的转移矩阵来近似目标函数，然后在平稳分布上进行采样作为函数的输入即可近似L，如下（4-14）所示。 $\begin{aligned}L(x) &=E[L(x, B(o))] \\& \approx \frac{1}{N} \sum_{n=1}^{N} L\left(x, B\left(o^{i}\right)\right), o^{i} \sim p(o \mid x)\end{aligned}$L(x)​=E[L(x,B(o))]≈N1​n=1∑N​L(x,B(oi)),oi∼p(o∣x)​（4-14）

[1] DAVIS K.H,BIDDULPH R,BALASHEK S.Automatic recognition of spoken digits[J].Journal of the Acoustical Society of America,1952,24(6):637. [2] FERGUSON J D.Application of hidden Markov models to text and speech[EB].1980. [3] RABINER L R.A tutorial on hidden Markov models and selected applications in speech recognition[J].Readings in Speech Recognition,1990,77(2):267-296. [4] LEEE K F L M.An overview of the SPHINX speech recognition system[J].IEEE Transactions on Acoustics Speech & Signal Processing Speech,1990,38(1):35-45. [5] 韩纪庆,张磊,郑铁然.语音信号处理[M].北京：清华大学出版社,2004. [6] WAIBEL A,HANAZAWA T,HINTON G.Phoneme recognition using time-delay neural networks[J].IEEE Transactions on Acoustics,Speech,and Signal Processing,1990,1(2):393-404. [7] HINTON G E,OSINDERO S,TEH Y W.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18(7):1527-1554. [8] MOHAMED A R,DAHL G,HINTON G.Deep belief networks for phone recognition[EB].2009. [9] 俞栋(美),邓力(美)著.俞凯等译.解析深度学习：语音识别实践[M].北京：电子工业出版社，2016. [10] Wang D,Zhang X.THCHS-30:A Free Chinese Speech Corpus[J].Computer Science, 2015. [11] Pascanu R , Mikolov T , Bengio Y . On the difficulty of training Recurrent Neural Networks[J]. 2012. [12] HOCHREITER S,SCHMIDHUBER J.Long short-term memory[J].Neural Computation,1997. [13] Shiliang Zhang,Cong Liu,Hui Jiang,Si Wei,Lirong Dai,Yu Hu.Feedforward Sequential Memory Networks:A New Structure to Learn Long-term Dependency.[J].Computer Science,2015. [14] 蒋俊正.DFT调制滤波器组的设计算法研究[D].西安电子科技大学,2011.[15] 薛少飞. DNN-HMM语音识别声学模型的说话人自适应[D].中国科学技术大学,2015. [16] 曹小群,宋君强,张卫民,赵军,张理论.MCMC方法在生物逆问题求解中的应用.国防科学技术大学 计算机学院,长沙 410073. [17] 刘盈.大词表连续语音识别识别系统的研究与实现[D].北京：清华大学,2005.