4.1 文本预处理

文本预处理 1.1 认识文本预处理 学习目标: 了解什么是文本预处理及其作用. 了解文本预处理中包含的主要环节. 文本预处理及其作用: 文本语料在输送给模型前一般需要一系列的预处理工作, 才能符合模型输入的要求, 如: 将文本转化成模型需要的张量, 规范张量的尺寸等, 而且科学的文本预处理环节还将有效指导模型超参数的选择, 提升模型的评估指标. 文本预处理中包含的主要环节: 文本处理的基本方法 文

>>阅读原文<<