信息熵、交叉熵、相对熵

主要在此文基础上精简，按自己理解表达下【直观详解】信息熵、交叉熵和相对熵 熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。 信息熵，描述信源的不确定度。 信息熵越大，越无序，越随机，信息量(的期望)越大，要消除不确定性所需信息量越大。 考虑把信息量存储下来需要多大空间/存储代价 (用存储空间表示信息熵(不确定性越高所需存储空间越大)) 举例：表示天气情况的 P=[

>>阅读原文<<