deeplearning的wake-sleep算法

对于多层的神经网络，在单独训练完每一层之后，需要对整个系统进行调优。 （这里的每一层要求能单独训练，常用的为自编码网络、RBM网络、去噪自编码网络（加噪声训练的自编码网络，鲁棒性强）） 但是基于SGD随机梯度下降的方法在多层上容易产生各种梯度问题、如梯度发散等。 因此这时候就出现了wake-sleep算法。wake-sleep算法的思想跟CD（基于gibbs采样的对比散度算法）有相似的地方， 二者

>>阅读原文<<