分词算法模型学习笔记(二)——MEMM

分词算法模型学习笔记(二)——MEMM Maximum Entropy Markov Model(MEMM,最大熵马尔科夫模型) 1.HMM的存在问题 生成式模型 需要准确地计算出观测序列X和隐藏状态序列Y的联合概率,然而这会导致以下两个问题: 1. 必须计算出所有的潜在可能路径的概率值大小(然后再挑概率值最大的那一个作为最终结果) 2. 对于某些未定义的观测值(如分词问题中的未登录词)需要统一设
相关文章
相关标签/搜索