深度学习(二)————文本预处理、语言模型、循环神经网络基础

目录 文本预处理 语言模型 n-gram语言模型 神经网络语言模型 循环神经网络基础 简介 计算过程 文本预处理 文本是一类序列数据,一篇文章可以看作是字符或单词的序列,本节将介绍文本数据的常见预处理步骤,预处理通常包括四个步骤: 读入文本 分词 建立字典,将每个词映射到一个唯一的索引(index) 将文本从词的序列转换为索引的序列,方便输入模型 常用文本预处理python库有Standford
相关文章
相关标签/搜索