GAN的数学原理

信息论基础 信息论的基本想法 - 如何量化信息？ 非常可能发生的事件信息量较少，确保能够发生的事件应该没有信息量。 较不可能发生的实践具有更高的信息量。 独立事件应具有增量的信息。例如，投掷的硬币两次正面朝上传递的信息量，应该是投掷一次硬币正面朝上的信息量的两倍。 为了满足上述三个性质，定义一个事件 X = x X=x X=x的自信息为 I ( x ) = − l o g P ( x ) I(x)

>>阅读原文<<