Deep Learning 阅读笔记：Convolutional Auto-Encoders 卷积神经网络的自编码表达

须要搭建一个比较复杂的CNN网络，但愿经过预训练来提升CNN的表现。

上网找了一下，关于CAE（Convolutional Auto-Encoders）的文章还真是少，勉强只能找到一篇瑞士的文章、

     Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction

干货少，不过好歹有对模型的描述，拿来看看。

---

 

---

 

 

概述：

　　本文提出了一种卷积神经网络的自编码表达，用于对卷积神经网络进行预训练。

 

具体内容：

　　原文废话挺多，我只关心模型——CAE：

　　　　

　　　　卷积层的得到：

　　　　

　　　　再表达：

　　　　其中“ * ”表示卷积；再表达的系数矩阵是卷积矩阵在两个维度上的翻转(rot180)。

 

　　关于CAE的具体结构论文讲得不清不楚（果然是水），这里有两个明显的问题：一是两次用一样大小卷积核作的卷积如何恢复原来图像的大小，论文中提到full convolution和valid convolution，大概是指两次卷积的卷积方法不一样；另外一个就是用卷积核的反转卷积隐藏层的意义和做用何在，这个实在是无故端冒出来的计算方法；

---

 

　　　　输出的偏差使用均方偏差MSE：

　　　　偏导的求法：

　　deltaH和deltaY分别是隐藏层和输出层的敏感度。这里又有问题：只有一个隐藏层怎么来敏感度？若是是反向传播怎么传播过去？论文此处的“ * ”仍是表明的是卷积吗？若是是的话用的是full仍是valid？为何用隐藏层和敏感度作运算而不是卷积核？这个公式到底怎么来的？（天究竟是我太水仍是论文太渣）

 

　　接着论文提到了在非监督学习下的non-overlapping maxpooling。说这东西真是厉害，maxpooling抹去了区域非最大值，所以引入稀疏性。强大到甚至连稀疏性惩罚项都不用就能够得到好结果。（你给我讲清楚为何啊喂！）

---

试验结果：　　　

　　　　　　论文使用MNIST和CIFAR10数据库各作了4组实验，每组训练20个features，结果以下：

 

MNIST:

CIFAR10：

 

其中a）是简单的CAE，b）引入了30%噪声，C）引入maxpooling，D）引入maxpooling和30%噪声。

单从这两组结果来看有maxpooling的CAE，经过训练得到较好特征。

---

与其余方法对比：

　　　文中最后利用CAE作pretraining训练一个6层隐藏层的CNN，与无pretraining的CNN相比，其实提升不明显。

 

   

    

 

---

 

感想：看完这篇文章对我想构建的CAE貌似没有太大的帮助，由于此文章在实践方面的细节和数学过程的推导都是一笔带过，没有详尽描述。（究竟是我水仍是文章水）