EasyDL天然语言处理简介

任务简介

EasyDL专业版平台将支持代码级的NLP任务包括文本分类任务和短文本匹配任务。同时平台集成了ERNIE2.0预训练模型，能够选择ERNIE-Base、ERNIE-Large、ERNIE-Tiny三种类型的预训练模型。

预训练模型ERNIE

ERNIE 是一个从海量无监督数据中学习大量知识的超大预训练模型，经过将 ERNIE 模型中的这些知识迁移到上层特定任务相关的网络从而显著提高任务效果；基于 ERNIE 来 Finetune 特定任务就比如是站在巨人的肩膀上看世界，起点会显著高于从 0 开始训练特定任务的深度学习模型；您能够经过ERNIE官网查看最新动态和相关信息。

不一样版本的ERNIE特色

• Base 模型的网路结构主体由 12 层 transformer block 构成，此版本的预测精度、预测性能、训练速度相对均衡
• Large模型拥有更大的参数量，以及更好的 Finetune 效果，Large模型网络结构主体由 24 层Transformer Block构成，此版本的预测精度突出
• Tiny模型有更浅的模型，在实际真实数据中有超过4倍的预测提速，预测精度逼近Base版

文本分类

文本分类任务中，平台提供的网络有：BOW、CNN、GRU、TextCNN、LSTM、BiLSTM； 同时，平台提供了BOW、CNN、GRU、TextCNN、LSTM、BiLSTM的ERNIE预训练模型版本的网络；

网络特色描述

• BOW：词袋模型，不考虑语法和语序，用一组无序单词来表达一段文本
• CNN：卷积神经网络，经过卷积核的权重共享减小参数数量，可以处理变长的序列输入
• GRU：门控循环单元网络，可以较好地处理序列文本中长距离依赖的问题
• TextCNN：该模型能够自主设定多组不一样窗口的CNN模型
• LSTM：长短时间记忆网络，可以较好地处理序列文本中长距离依赖问题
• BiLSTM：双向长短时间记忆网络，可以更好的捕捉句子中的语义特征

短文本语义匹配

短文本匹配任务中，平台提供的网络有：SimNet-BOW、SimNet-CNN、SimNet-GRU、SimNet-LSTM、FC；

同时，ERNIE预训练模型可选FC网络；

网络特色描述

• FC：基础句对匹配模型，能够任意搭配其余各类经典网络
• SimNet-CNN：卷积神经网络，可以处理变长的序列输入，提取一个局部区域以内的特征
• SimNet-BOW：词袋模型，不考虑语法和语序，用一组无序单词来表达一段文本
• SimNet-GRU：门控循环单元网络，可以较好地处理序列文本中长距离依赖的问题
• SimNet-LSTM：长短时间记忆网络，可以较好地处理序列文本中长距离依赖问题

序列标注

序列标注任务中，平台提供的网络为CRF； ERNIE预训练模型可选CRF网络；

网络特色描述

• CRF：条件随机场，可以考虑上下文关联信息的进行模型学习

 

>> 访问 PaddlePaddle 官网，了解更多相关内容。