22 language model学习笔记

在语言建模问题中，我们想读取一些语句，从而让神经网络在一定程度上学会生成自然语言 在下图中，我们有一个字符集[h,e,l,o]和一个训练序列样例hello 在这里语言模型的训练阶段，我们将这个字符序列作为输入项xt，考虑到是一个字母所以这里我们采用的方法是将其中一个字母所在元素对应index在为位置表为1其他标位0。 随着数字前向传播，神经网络会接收到输入h，该输入会进入RNN单元中，之后输出yt

>>阅读原文<<