今天咱们会来聊聊用神经网络如何进行非监督形式的学习. 也就是 autoencoder, 自编码.html
压缩与解压
有一个神经网络, 它在作的事情是 接收一张图片, 而后 给它打码, 最后 再从打码后的图片中还原. 太抽象啦? 行, 咱们再具体点.网络
假设刚刚那个神经网络是这样, 对应上刚刚的图片, 能够看出图片实际上是通过了压缩,再解压的这一道工序. 当压缩的时候, 原有的图片质量被缩减, 解压时用信息量小却包含了全部关键信息的文件恢复出本来的图片. 为何要这样作呢?post
原来有时神经网络要接受大量的输入信息, 好比输入信息是高清图片时, 输入信息量可能达到上千万, 让神经网络直接从上千万个信息源中学习是一件很吃力的工做. 因此, 何不压缩一下, 提取出原图片中的最具表明性的信息, 缩减输入信息量, 再把缩减事后的信息放进神经网络学习. 这样学习起来就简单轻松了. 因此, 自编码就能在这时发挥做用. 经过将原数据白色的X 压缩, 解压 成黑色的X, 而后经过对比黑白 X ,求出预测偏差, 进行反向传递, 逐步提高自编码的准确性. 训练好的自编码中间这一部分就是能总结原数据的精髓. 能够看出, 从头至尾, 咱们只用到了输入数据 X, 并无用到 X 对应的数据标签, 因此也能够说自编码是一种非监督学习. 到了真正使用自编码的时候. 一般只会用到自编码前半部分.学习
编码器 Encoder
这 部分也叫做 encoder 编码器. 编码器能获得原数据的精髓, 而后咱们只须要再建立一个小的神经网络学习这个精髓的数据,不只减小了神经网络的负担, 并且一样能达到很好的效果.编码
这是一个经过自编码整理出来的数据, 他能从原数据中总结出每种类型数据的特征, 若是把这些特征类型都放在一张二维的图片上, 每种类型都已经被很好的用原数据的精髓区分开来. 若是你了解 PCA 主成分分析, 再提取主要特征时, 自编码和它同样,甚至超越了 PCA. 换句话说, 自编码 能够像 PCA 同样 给特征属性降维.spa