softmax 、softmaxt loss、cross-entropy

softmax 把输入的x值进行e(e的x次方)操作,使大的更大小的更小,然后再对输入值求概率,则大的概率也大,小大概率也小,具体操作入下图 softmax计算公式如下: S i = e i ∑ j e j S_i = \dfrac{e^i}{\sum_j{e^j}} Si​=∑j​ejei​ softmax loss softmax loss就是经过softmax激活之后计算的loss值,公式如
相关文章
相关标签/搜索