再谈权重共享

以前在几篇博客中说到了权重共享,但都以为不够全面,这里作个专题,之后有新的理解都在此更新。网络

 

1. 减小运算只是锦上添花学习

以前说到权重共享能够减小运算,是的,但这样说好像是无关紧要,只是运算量大小的问题,其实不是无关紧要的。博客

 

2. 权重共享的本质是特征提取模板

以前说到权重就是模板,咱们按照必定的模板来与样本进行比对,看看有没有与模板一致的外在表现(特征)class

 

3. 权重共享使得模型泛化神经网络

普通的神经网络输入是固定的,而权重共享可使得输入不固定。搜索

好比不少张图像,每张图像上有我的脸,可是人脸在图像的不一样位置,或者图像的大小也不相同,此时权重共享能够全图扫描,搜索人脸,进而把特征提取出来。di

再如RNN作语义分析,两句话:我去年去了北京;去年我和父母去了北京,这其实意思差很少,但文字位置不一样,句子长度也不一样。co

 

权重共享使得模型可以处理一个连续序列的特征,而无论输入的序列总长度是多少。模型

当这个连续序列在样本的不一样位置时,依然可以识别,而不是学习每一个位置的规则,这不只抓住了不一样特征之间的连续性,也减小了学习规则

 

因此权重共享是必须的。

相关文章
相关标签/搜索