自然语言处理面试总结.01

对自己复盘的NLP做个总结： 1. 什么perplexity？它在NLP中的地位是什么？ perplexity是一种表达模型在预测中出现的混乱程度的方法。熵越大=越混乱。使用perplexity来评估NLP中的语言模型。一个好的语言模型会给正确的预测赋予更高的概率。 2. ReLu的问题是什么？ 梯度爆炸（通过梯度裁剪来解决） 死亡ReLu----激活为0时不进行学习（通过加参数的ReLu解决）

>>阅读原文<<