关于挖掘新词方法的一点点思考

新词挖掘的背景 分词做为NLP数据预处理的前提在NLP领域的地位一直很重要，在当今预训练迁移模型训练的时代，分词依然发挥着重要做用，先对语句进行分词，而后分词后变成编号和NLP的嵌入优化参数取对应的嵌入，固然也能够按照字和字形声调和字形图像特征输入NLP模型进行训练，可是这明显会让模型效率降低。因此讨论分词很是重要。那么分词怎么作呢？就是在词典里找到对应的最长的词汇，做为一个新词，进行分词。可是词

>>阅读原文<<