MXNET--中文版学习 softmax手动实现 课后练习

  1. 本节中,咱们直接按照 softmax 运算的数学定义来实现 softmax 函数。这可能会形成什么问题? 答:参考知乎一位的回答,https://zhuanlan.zhihu.com/p/27223959. 当exp()中的数过大,会致使计算溢出。因此能够给exp(x)中的数加一个常数F,F = -max(a1,a2,...an),保证指数函数的定义域在0附近。
  2. 本节中的cross_entropy函数是按照交叉熵损失函数的数学定义实现的。这样的实现方式可能有什么问题?(提示:思考一下对数函数的定义域。) 答:对数函数的定义域是(0.+&),当无限接近于0 .可能致使结果过大为nan.
相关文章
相关标签/搜索