熵、信息量、信息熵、交叉熵、联合熵、条件熵

熵 1854年，德国物理学家鲁道夫·克劳修斯(T.Clausius) 首次提出熵的概念，我国物理学家胡刚复教授于1923年根据“热温商”之意首次把entropy译为“熵”。 物理学中的熵 19世纪，物理学家开始认识到，世界的动力是能量，并且提出"能量守恒定律"，即能量的总和是不变的。但是，有一个现象让他们很困惑。物理学家发现，能量无法百分百地转换。比如，蒸汽机使用的是热能，将其转换为推动机器的机械

>>阅读原文<<