LSTM的神经元个数

小书匠 深度学习

目录:

• 1.LSTM简单介绍
• 2.简单假设样例
• 3.神经元分析
  • 3.1忘记门层
  • 3.2细胞状态
  • 3.3输出层
  • 3.4总结
• 4.测试

---

1.LSTM简单介绍

LSTM在时间上展开

红框从左到右,依次是:
忘记门层: 决定从细胞状态中丢弃什么信息,经过当前时刻输入和前一个时刻输出决定
细胞状态: 肯定并更新新信息到当前时刻的细胞状态中
输出门层: 基于目前的细胞状态决定该时刻的输出

2.简单假设样例

假设现有一个样本,Shape=(13,5),时间步是13,每一个时间步的特征长度是5.形象点,我把一个样本画了出来:

一个样本

使用Keras框架添加LSTM层时,个人设置是这样的keras.layers.LSTM(10),也就是我如今设定,每一个时间步通过LSTM后,获得的中间隐向量是10维(意思是5->10维),13个时间步的数据进去获得的是(13*10)的数据.

每一个时间步对应神经元个数(参数个数)同样.也就是算一个LSTM中神经元个数,算一个时间步中参与的神经元个数便可.下面将对LSTM每一个计算部分进行神经元分析.

3.神经元分析

3.1忘记门层

忘记门层

图中公式的是上一个状态的隐向量(已设定隐向量长度为10),为当前状态的输入(长度为5),那么的长度就是10+5=15了.和为该层的参数.

该层输出是中间隐向量的长度(10),通过激活先后的长度不变.只须要考虑里面的操做获得10维特征便可.

是(1,15)的向量,与相乘获得(1,10)的向量,根据矩阵相乘规律,获得是(15,10)的矩阵,获得(1,10)矩阵后,与该门层偏置相加,偏置也应该有相同的形状,即是(1,10)的矩阵.

即:该层神经元为:

3.2细胞状态

(1)肯定更新信息过程

肯定该时刻细胞要更新的内容

能够看到,这里公式和前面的同样的,和都是激活函数,不影响参数个数.

同理这过程的神经元个数是:

(2)更新过程

细胞状态更新

公式中的四个值,均是前面计算获得的结果,所以该过程没有参数须要学习.

3.3输出层

输出门层

同样的公式,神经元个数同样.即个数为:

3.4总结

把公式(1),(2),(3)的神经元加起来,就是该LSTM的神经元个数了.

其实,咱们能够把这个问题通常化,不看这个例子,假设你一个时间步的特征长度是n,通过该LSTM获得的长度是m,这样就能够算出该LSTM层的神经元个数为:

4.测试

1. from keras.layers import LSTM 

   ---

2. from keras.models import Sequential 

   ---

3.  

   ---

4. time_step=13 

   ---

5. featrue=5 

   ---

6. hidenfeatrue=10 

   ---

7.  

   ---

8. model=Sequential() 

   ---

9. model.add( LSTM(hidenfeatrue,input_shape=(time_step,featrue))) 

   ---

10. model.summary() 

    ---

输出是:

1. _________________________________________________________________________________ 

   ---

2. Layer (type) Output Shape Param #  

   ---

3. ================================================================================= 

   ---

4. lstm_8 (LSTM) (None, 10) 640  

   ---

5. ================================================================================= 

   ---

6. Total params: 640 

   ---

7. Trainable params: 640 

   ---

8. Non-trainable params: 0 

   ---

9. _________________________________________________________________________________ 

   ---

10.  

    ---

参考:
理解 LSTM 网络
推荐给初学LSTM或者懂个大概却不彻底懂的人