动手学深度学习(二):循环神经网络

语言模型 语言模型(language model)是自然语言处理的重要技术。自然语言处理中最常见的数据是文本数据。 我们可以把一段自然语言文本看作一段离散的时间序列。假设一段长度为T的文本中的词依次为w1,w2,…,wT,那么在离散的时间序列中,wt(1≤t≤T)可看作在时间步(time step)t的输出或标签。 1、语言模型的计算 例如,在一段含有4个词的文本序列的概率: 我们需要计算词的概率
相关文章
相关标签/搜索