理解熵,交叉熵和交叉熵损失

交叉熵损失是深度学习中应用最广泛的损失函数之一,这个强大的损失函数是建立在交叉熵概念上的。当我开始使用这个损失函数时,我很难理解它背后的直觉。在google了不同材料后,我能够得到一个令人满意的理解,我想在这篇文章中分享它。 为了全面理解,我们需要按照以下顺序理解概念:自信息, 熵,交叉熵和交叉熵损失 自信息 "你对结果感到惊讶的程度" 一个低概率的结果与一个高概率的结果相比,低概率的结果带来的信
相关文章
相关标签/搜索