深度学习Task2

文本预处理 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 课后练习 语言模型与数据集 语言模型 假设序列w1、w2……wt中的每个词是依次生成的，我们有 语言模型的参数就是词的概率以及给定前几个词情况下的条件概率。设训练数据集为一个大型文本语料库，如维基百科的所有条目，词的概率可以通过该词在训练数据集中的相对词频来计算，例如，

>>阅读原文<<