神经网络权值为何不能初始化为零（1）

写在前面：该篇文章的内容以及相关代码（代码在最后），都是我亲自手敲出来的，相关结论分析也是花了挺长时间作出来的，如需转载该文章，请务必先联系我，在后台留言便可。

在深度学习中，神经网络的权重初始化方式很是重要，其对模型的收敛速度和性能有着较大的影响。一个好的权值初始值有如下优势：

• 梯度降低的收敛速度较快
• 深度神经中的网络模型不易陷入梯度消失或梯度爆炸问题

该系列共两篇文章，咱们主要讨论如下两个话题：

1. 为何在线性回归和逻辑回归中能够采用0初始化，而在神经网络中不能采用（实际上不光是0初始化，将权值初始化为任意相同值，都颇有可能使模型失效）；
2. 经常使用的三种权值初始化方法：随机初始化、Xavier initialization、He initialization

在这一篇文章中，咱们主要谈论第一个话题

---

 

0 初始化

在线性回归和逻辑回归中，咱们一般把权值 w 和误差项 b 初始化为0，而且咱们的模型也能取得较好的效果。在线性回归和逻辑回归中，咱们采用下面的代码将权值初始化为0（tensorflow框架下）：

w = tf.Variable([[0,0,0]],dtype=tf.float32,name='weights')
b = tf.Variable(0,dtype=tf.float32,name='bias')

可是，当在神经网络中的权值所有都使用 0 初始化时，模型没法正常工做了。

缘由是：在神经网络中由于存在隐含层。咱们假设模型的输入为[x1,x2,x3]，隐含层数为1，隐含层单元数为2，输出为 y ，模型以下图所示：

则经过正向传播计算以后，可得：

z1 = w10 * x0 + w11 * x1 + w12 * x2 +w13 * x3

z2 = w20 * x0 + w21 * x1 + w22 * x2 +w23 * x3

在全部的权值 w 和误差值 b （能够看作是w10）初始化为 0 的状况下，即计算以后的 z1 和 z2 都等于0

那么因为 a1 = g(z1) 、a2 = g(z2)，通过激活函数以后获得的 a1 和 a2 也确定是相同的数了，即 a1 = a2 = g(z1)

则输出层：y = g(w20 * a0 + w21 * a1 + w22 *a2 ) 也是固定值了。

重点：在反向传播过程当中，咱们使用梯度降低的方式来下降损失函数，但在更新权值的过程当中，代价函数对不一样权值参数的偏导数相同 ，即Δw相同，所以在反向传播更新参数时：

w21 = 0 + Δw

w22 = 0 + Δw

实际上使得更新以后的不一样节点的参数相同，同理能够获得其余更新以后的参数也都是相同的，无论进行多少轮的正向传播和反向传播，获得的参数都同样！所以，神经网络就失去了其特征学习的能力。

---

 

在神经网络中使用0 初始化的效果

咱们来看一下使用 0 初始化会出现什么样的状况：

咱们使用MNIST手写数字数据集进行测试：手写数据集是图像处理和机器学习研究最多的数据集之一，在深度学习的发展中起到了重要的做用。

咱们看一下使用权值 0 初始化的神经网络训练并测试该数据集的结果：

 

• 在100次的迭代中，每一次迭代，损失值都没有变化
• 模型检测的准确度为11.35%，几乎彻底没有检测出来

总结一下：在神经网络中，若是将权值初始化为 0 ，或者其余统一的常量，会致使后面的激活单元具备相同的值，全部的单元相赞成味着它们都在计算同一特征，网络变得跟只有一个隐含层节点同样，这使得神经网络失去了学习不一样特征的能力！

 

---

 

若是这篇文章帮助到了你，或者你有任何问题，欢迎扫码关注微信公众号：一刻AI  在后台留言便可，让咱们一块儿学习一块儿进步！

 

---

 

 

代码以下：

 

# -*- coding: utf-8 -*-
"""
Created on Wed May  8 08:25:40 2019

@author: Li Kangyu
"""

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
from tensorflow.contrib.learn.python.learn.datasets.mnist import read_data_sets
import time
# 数据集下载地址：http://yann.lecun.com/exdb/mnist/


MINIBATCH_SIZE = 100
NUM_HD = 100 
data = read_data_sets('MNIST_DATA',one_hot=True)

x = tf.placeholder(tf.float32,[None,784]) 
y_true = tf.placeholder(tf.float32,[None,10])

def nn_model(x):
    hidden_layer = {
                    'w':tf.Variable(tf.zeros([784,NUM_HD])),
                    'b':tf.Variable(tf.zeros([NUM_HD]))
                   }
    output_layer = {
                    'w':tf.Variable(tf.zeros([NUM_HD,10])),
                    'b':tf.Variable(tf.zeros([10]))
                   }
    
    z1 = tf.matmul(x,hidden_layer['w']) + hidden_layer['b']
    a1 = tf.nn.relu(z1)
    
    output = tf.matmul(a1,output_layer['w']) + output_layer['b']
    
    return output

def train_nn(x):
    y_pred = nn_model(x)
    
    cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=y_pred,labels=y_true)) 
    optimizer = tf.train.AdamOptimizer().minimize(cost)
    
    correct_mask = tf.equal(tf.argmax(y_pred,1),tf.argmax(y_true,1))
    accuracy = tf.reduce_mean(tf.cast(correct_mask,tf.float32))
    
    NUM_STEPS = 100
    
    with tf.Session() as sess:
        sess.run(tf.initialize_all_variables())
        for epoch in range(NUM_STEPS):
            epoch_loss = 0
            num_minibatch = int(data.train.num_examples/MINIBATCH_SIZE)
            for _ in range(num_minibatch):
                
                batch_xs,batch_ys = data.train.next_batch(MINIBATCH_SIZE)
                _,loss = sess.run([optimizer,cost],feed_dict={x:batch_xs,y_true:batch_ys})
                epoch_loss += loss / num_minibatch
            if epoch % 10 ==0:
                print("Epoch = ",epoch,"loss = ",epoch_loss)
            
            ans = sess.run(accuracy,feed_dict={x:data.test.images,
                                                   y_true:data.test.labels})
    
    print("Accuracy:{:.4}%".format(ans*100))

train_nn(x)