无监督预训练 & 有监督预训练

本文参考了几篇其他博客，具体链接在对应部分有提供 无监督预训练（unsupervised pre-training） 无监督预训练策略，主要应用于“复杂任务+少量标记数据集”，即没有足够的训练集为我们提供模型训练支持。这是 Hinton 团队在2006年提出的技术：A Fast Learning Algorithm for Deep Belief Nets。 这里有一段对其原理的描述 In SGD

>>阅读原文<<