变分推断与变分自编码器

变分推断与变分自编码器

做者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/html

    本文主要介绍变分自编码器(Variational Auto-Encoder, VAE)及其推导过程,但变分自编码器涉及一些几率统计的基础知识,所以为了更好地理解变分自编码器,首先介绍变分推断(Variational Inference)与指望最大化(Expectation-Maximization, EM)算法,进而介绍变分自编码器,并给出另外一种理解方法(参考文献[3])。git

1. 变分推断

2. 变分自编码器

通常状况下,只采一个样便可,即K=1。详见参考文献[3]。github

3. 变分自编码器另外一种理解——直面联合分布

4. KL散度公式推导

5. 参考文献

[1] 变分贝叶斯 - 凯鲁嘎吉 - 博客园算法

[2] 邱锡鹏, 神经网络与深度学习[M]. 2019.网络

[3] 标签 vae 下的文章 - 科学空间|Scientific Spaces学习

[4] Kingma D P , Welling M . Auto-Encoding Variational Bayes[J]. 2013.编码

[5] 变分推断详细请参考:华俊豪博客-变分推理变分贝叶斯算法理解与推导spa