14.为何LSTM模型中存在sigmoid与tanh两种激活函数,而不是选择一种

两者目的不同。web sigmoid用在了各类gate上,产生0~1之间的值,这个使用sigmoid最直接,至关于要么是1则记住要么是0则忘掉。tanh用在了状态和输出上,是对数据的处理,这个也能够用其余激活函数。svg
相关文章
相关标签/搜索