无监督学习之auto encoder（未完成）

encoder&decoder

encoder其实就是把文本或者图片通过神经网络转换为向量.
decoder就是把向量转换为文本或图片等。
例如翻译系统，encoder能够理解为将源语言文本转换为语义（向量表示）而后decoder将语义转换为目标语言。

什么是auto encoder

auto encode其实就是 “我编码我本身”，而后还原出“我本身”

将输入的文本，图片进行编码，映射到低纬度的向量里，这里能够将向量理解为文本图片的各个抽象特征，而后根据这些抽象特征来还原本身。

什么是Variational Autoencoder(Vae)

相比于auto encoder. vae加了一些噪音e 而且乘以权重σ（学出来的）

为何这样？

这个地方不是太懂。简单说一下。例如咱们原本对输入的半个月亮进行编码，而后编码后的code落在了空间某处，而后对该code decode 解码出原有的图片。假如咱们加了一些噪音，那么原来code附近的code 也会被还原成半个月亮。假如此时又有一个满月图片进行相似的操做，那么颇有可能加入噪音后的code和以前半个月亮code重叠了，那么模型训练就会要求他即像半个月亮又像满月。就能够学习出介于二者之间的图片。
并且我认为这样作生成彷佛更容易，更稳健了，由于对于decoder来讲，code的要求没那么严格了。

问题1：假如模型学到把σ都设置为0 从而获得更好的学习结果，该怎么办？

什么是高斯混合模型

要知道什么是高斯混合模型。首先要知道什么是高斯模型。
当样本数据 X 是一维数据（Univariate）时，高斯分布听从下方几率密度函数（Probability Density Function）：

![[公式]](https://www.zhihu.com/equatio...

其中![[公式]](https://www.zhihu.com/equatio...（指望），![[公式]](https://www.zhihu.com/equatio...（Standard deviation）。
（公式来自知乎：https://zhuanlan.zhihu.com/p/...）

那么高斯混合模型就是把多个单高斯模型混合到一块儿。

这种状况比较多见，好比数据中可能会有多种子类型数据，而每种数据都服从高斯分布。

几率计算如上图黄色部分。

ps:还没完成，之后在修改