隐形马尔科夫模型和序列标注

隐形马尔科夫模型和序列标注 引出        在做n元语法模型中,利用的维特比算法求解似然概率最大的路径词语级别的模型无法应对 OOV(Out of Vocabulary,即未登录词) 。对于相对陌生的新词之前的分词算法识别不出,因此我们需要更细粒度的模型,比词语更细粒度的就是字符。具体说来,只要将每个汉字组词时所处的位置(首尾等)作为标签,则中文分词就转化为给定汉字序列找出标签序列的问题。一般
相关文章
相关标签/搜索