NLP实习笔试面试题汇总二

一、LSTM中各模块分别使用什么激活函数，可以使用别的激活函数吗？ 关于激活函数的选取。在LSTM中，遗忘门、输入门、输出门使用Sigmoid函数作为激活函数；在生成候选记忆时，使用双曲正切函数Tanh作为激活函数。 值得注意的是，这两个函数都是饱和的，即在输入达到一定值的情况下，输出不会发生明显变化。如果是非饱和的激活函数，比如ReLU,那么就难以实现门控的效果。 Sigmoid函数的输出在0~

>>阅读原文<<