论文笔记——Data-free Parameter Pruning for Deep Neural Networks

论文地址：https://arxiv.org/abs/1507.06149

1. 主要思想

权值矩阵对应的两列i,j，若是差别很小或者说没有差别的话，就把j列与i列上(合并，也就是去掉j列)，而后在下一层中把第j行的权值累加在第i像。 这个过程就想象一下隐藏层中少一个单元，对权值矩阵的影响。 总体思想仍是考虑权值矩阵中列的类似性，有点相似于聚类。 而后做者给出了一种计算类似性的方法。

2. 原理

假设一个隐藏层，一个输出单元，那么网络表达式以下：

咱们能够看到下面这个图：若是两个权值集合W1和W4相等或者相差不大的话，咱们能够合并W1和W4，而后累加输出的权值。也就说下图对应两个权值矩阵，在第一个权值矩阵中，删除第4列，而后在第二个权值矩阵中将第四行累加在第一行上。

可是有一个问题就是，权值彻底相等的可能比较少或者没有，那么咱们就把条件放宽，差别比较小的，那么怎么衡量呢。请看下面的分析。

3. 类似条件

若是Wi和Wj相等，那么两个输出的偏差为：

进一步化简，而后两边求指望能够获得如下：

那么咱们能够获得判断是否能够合并的条件：

解释就是：若是两列权值的差别较少，且aj做为下一层的输入权值不大，那么就能够将i，j合并。

4. 合并过程

5. 结果

MNIST上85%的压缩，AlexNet上35%的压缩。这篇文章的可解释性仍是很强的，可是可能效果没有这么的好，因此发在了BMVC上吧。