基于条件随机场模型的中文分词实现(项目+源码)

摘 要 基于条件随机场模型是中文分词的常用方法,是一种利用语料库进行统计学习的方法。其一般会提供一个已经人为分好词的语料库,对输入的字符串进行字字匹配,统计字符串的每一个字在语料库中出现的次数,每一个字分别为词头、词中、词尾和单字成词的概率,字与字之间的转移概率,相邻字在对应状态下同时出现的概率,基于这些概率求解字符中串的字与状态的矩阵映射关系表,然后对各个字进行标记,回溯出路径然后标记字的状态。
相关文章
相关标签/搜索