信息熵、交叉熵、相对熵原理与softmax函数的应用

信息熵在人工智能领域有着举足轻重的作用，尤其在分类的算法中，可利用其特性设计损失函数推导出最优数学模型；softmax函数是一种处理数据手段，一般会出现在模型最后阶段，比如各种神经网络的最后一层，经过softmax函数处理后可把任意数据（一般表现为向量） 处理成概率形式，这样就可以用交叉熵的方法得到与真实概率分布之间损失，进而优化模型参数，本篇先介绍信息熵、交叉熵、相对熵，然后对softmax函数

>>阅读原文<<