中文分词学习整理

主要分为两大类

1. 字符串匹配（扫描字符串），发现子串与词匹配，就算是匹配

这类分词一般加入一些启发式规则，好比“正向/反向最大匹配”，“长词优先”等策略。

优势：速度快、O(n)时间复杂度。

缺点：歧义和未登录词处理很差。

歧义的例子很简单"长春市/长春/药店" "长春/市长/春药/店".

未登陆词即词典中没有出现的词，固然也就处理很差。

ikanalyzer,paoding 等就是基于字符串匹配的分词

2. 基于统计及机器学习

这类分词基于人工标注的词性和统计特征，对中文进行建模，即根据观测到的数据（标注好的语料）对模型参数进行估计，即训练。 在分词阶段再经过模型计算各类分词出现的几率，将几率最大的分词结果做为最终结果。常见的序列标注模型有HMM和CRF。

这类分词算法能很好处理歧义和未登陆词问题，效果比前一类效果好，可是须要大量的人工标注数据，以及较慢的分词速度。

ICTCLAS是基于HMM的分词库。

咱们在重构知乎搜索的时候，权衡标注工做量和性能，以及代码实现的复杂程度，咱们考虑采用基于字符串匹配的分词方法

B. 除了标注量，准确率和效果的考量，分词粒度也是一个须要考虑的指标，


这里有一个真实的例子，即
"团购网站的本质是什么？"
这是一个知乎的问题，若是使用单一粒度的分词，若是咱们有


团购
团购网
网站
团购网站
本质
是
什么

这些词在词典中，按最大匹配分词结果是
“团购网站/的/本质/是/什么”


当用户输入
“团购网的本质”
分词结果是
“团购网/的/本质”
团购网这个词显然是没有匹配的。

一样，若是按最小匹配分词，会有相似的问题。

所以，咱们考虑基于字符串匹配的分词方法最好可以匹配出多粒度的结果，即
能分出
“团购网站/团购/团购网/网站/的/本质/是/什么”
这样多粒度的结果。

最终咱们采用了 ikanalyzer,
基于文本匹配，不须要投入大量人力进行训练和标注
能够自定词典，方便加入domain specific的词语
能分出多粒度的结果。

做者：Logician
连接：https://www.zhihu.com/question/19578687/answer/15143584

 

做者：竹间智能 Emotibot
连接：https://www.zhihu.com/question/19578687/answer/190569700
来源：知乎
著做权归做者全部。商业转载请联系做者得到受权，非商业转载请注明出处。

中文分词是中文文本处理的一个基础步骤，也是中文人机天然语言交互的基础模块。不一样于英文的是，中文句子中没有词的界限，所以在进行中文天然语言处理时，一般须要先进行分词，分词效果将直接影响词性、句法树等模块的效果。固然分词只是一个工具，场景不一样，要求也不一样。

在人机天然语言交互中，成熟的中文分词算法可以达到更好的天然语言处理效果，帮助计算机理解复杂的中文语言。竹间智能在构建中文天然语言对话系统时，结合语言学不断优化，训练出了一套具备较好分词效果的算法模型，为机器更好地理解中文天然语言奠基了基础。

在此，对于中文分词方案、当前分词器存在的问题，以及中文分词须要考虑的因素及相关资源，竹间智能 天然语言与深度学习小组 作了些整理和总结，但愿能为你们提供一些参考。

中文分词根据实现原理和特色，主要分为如下2个类别：

一、基于词典分词算法

也称字符串匹配分词算法。该算法是按照必定的策略将待匹配的字符串和一个已创建好的“充分大的”词典中的词进行匹配，若找到某个词条，则说明匹配成功，识别了该词。常见的基于词典的分词算法分为如下几种：正向最大匹配法、逆向最大匹配法和双向匹配分词法等。

基于词典的分词算法是应用最普遍、分词速度最快的。很长一段时间内研究者都在对基于字符串匹配方法进行优化，好比最大长度设定、字符串存储和查找方式以及对于词表的组织结构，好比采用TRIE索引树、哈希索引等。

二、基于统计的机器学习算法

这类目前经常使用的是算法是HMM、CRF、SVM、深度学习等算法，好比stanford、Hanlp分词工具是基于CRF算法。以CRF为例，基本思路是对汉字进行标注训练，不只考虑了词语出现的频率，还考虑上下文，具有较好的学习能力，所以其对歧义词和未登陆词的识别都具备良好的效果。

Nianwen Xue在其论文《Combining Classifiers for Chinese Word Segmentation》中首次提出对每一个字符进行标注，经过机器学习算法训练分类器进行分词，在论文《Chinese word segmentation as character tagging》中较为详细地阐述了基于字标注的分词法。

常见的分词器都是使用机器学习算法和词典相结合，一方面可以提升分词准确率，另外一方面可以改善领域适应性。

随着深度学习的兴起，也出现了基于神经网络的分词器，例若有人员尝试使用双向LSTM+CRF实现分词器，其本质上是序列标注，因此有通用性，命名实体识别等均可以使用该模型，据报道其分词器字符准确率可高达97.5%。算法框架的思路与论文《Neural Architectures for Named Entity Recognition》相似，利用该框架能够实现中文分词，以下图所示：

首先对语料进行字符嵌入，将获得的特征输入给双向LSTM，而后加一个CRF就获得标注结果。

分词器当前存在问题：

目前中文分词难点主要有三个：

一、分词标准：好比人名，在哈工大的标准中姓和名是分开的，但在Hanlp中是合在一块儿的。这须要根据不一样的需求制定不一样的分词标准。

二、歧义：对同一个待切分字符串存在多个分词结果。

歧义又分为组合型歧义、交集型歧义和真歧义三种类型。

1) 组合型歧义：分词是有不一样的粒度的，指某个词条中的一部分也能够切分为一个独立的词条。好比“中华人民共和国”，粗粒度的分词就是“中华人民共和国”，细粒度的分词多是“中华/人民/共和国”

2) 交集型歧义：在“郑州天和服装厂”中，“天和”是厂名，是一个专有词，“和服”也是一个词，它们共用了“和”字。

3) 真歧义：自己的语法和语义都没有问题, 即使采用人工切分也会产生一样的歧义，只有经过上下文的语义环境才能给出正确的切分结果。例如：对于句子“美国会经过对台售武法案”，既能够切分红“美国/会/经过对台售武法案”，又能够切分红“美/国会/经过对台售武法案”。

通常在搜索引擎中，构建索引时和查询时会使用不一样的分词算法。经常使用的方案是，在索引的时候使用细粒度的分词以保证召回，在查询的时候使用粗粒度的分词以保证精度。

三、新词：也称未被词典收录的词，该问题的解决依赖于人们对分词技术和汉语语言结构的进一步认识。

另外，咱们收集了以下部分分词工具，供参考：

中科院计算所NLPIR http://ictclas.nlpir.org/nlpir/

ansj分词器 https://github.com/NLPchina/ansj_seg

哈工大的LTP https://github.com/HIT-SCIR/ltp

清华大学THULAC https://github.com/thunlp/THULAC

斯坦福分词器 https://nlp.stanford.edu/software/segmenter.shtml

Hanlp分词器 https://github.com/hankcs/HanLP

结巴分词 https://github.com/yanyiwu/cppjieba

KCWS分词器(字嵌入+Bi-LSTM+CRF) https://github.com/koth/kcws

ZPar https://github.com/frcchang/zpar/releases

IKAnalyzer https://github.com/wks/ik-analyzer

以及部分分词器的简单说明：

哈工大的分词器：主页上给过调用接口，每秒请求的次数有限制。

清华大学THULAC：目前已经有Java、Python和C++版本，而且代码开源。

斯坦福分词器：做为众多斯坦福天然语言处理中的一个包，目前最新版本3.7.0， Java实现的CRF算法。能够直接使用训练好的模型，也提供训练模型接口。

Hanlp分词：求解的是最短路径。优势：开源、有人维护、能够解答。原始模型用的训练语料是人民日报的语料，固然若是你有足够的语料也能够本身训练。

结巴分词工具：基于前缀词典实现高效的词图扫描，生成句子中汉字全部可能成词状况所构成的有向无环图 (DAG)；采用了动态规划查找最大几率路径, 找出基于词频的最大切分组合；对于未登陆词，采用了基于汉字成词能力的 HMM 模型，使用了 Viterbi 算法。

字嵌入+Bi-LSTM+CRF分词器：本质上是序列标注，这个分词器用人民日报的80万语料，听说按照字符正确率评估标准能达到97.5%的准确率，各位感兴趣能够去看看。

ZPar分词器：新加坡科技设计大学开发的中文分词器，包括分词、词性标注和Parser，支持多语言，听说效果是公开的分词器中最好的，C++语言编写。

关于速度：

因为分词是基础组件，其性能也是关键的考量因素。一般，分词速度跟系统的软硬件环境有相关外，还与词典的结构设计和算法复杂度相关。好比咱们以前跑过字嵌入+Bi-LSTM+CRF分词器，其速度相对较慢。另外，开源项目 https://github.com/ysc/cws_evaluation 曾对多款分词器速度和效果进行过对比，可供你们参考。

最后附上公开的分词数据集

测试数据集

一、SIGHAN Bakeoff 2005 MSR,560KB

http://sighan.cs.uchicago.edu/bakeoff2005/

二、SIGHAN Bakeoff 2005 PKU, 510KB

http://sighan.cs.uchicago.edu/bakeoff2005/

三、人民日报 2014, 65MB

https://pan.baidu.com/s/1hq3KKXe

 

分词算法不重要，重要的是词典。参考：《 http://www.cnblogs.com/zhengyun_ustc/archive/2009/07/04/1516655.html 语义分析相关应用的实做要点》『
分词算法用谁家的都无所谓，开源的、能拿到手的、靠谱的有很多。主要是一套专用词典。须要（自动地）与时俱进，而不是拿一个许多年前的不更新的旧词典就搞定的。
也就是说整个应用的主要问题是词典和算法。

1. 好词典很重要

不论什么样的分词方法, 优秀的词典必不可少, 越拿老掉牙的词典对越新的文本进行分词, 就越会分红一团糟.
怎样构建一个优秀的词典, 快速发现新新词汇? 能够看 @M67 前两天写的文章, 讲的很是透彻明白 : 互联网时代的社会语言学：基于SNS的文本数据挖掘 ( http://www.matrix67.com/blog/archives/5044/trackback )

2. 算法跟着需求走 建议根据不一样的需求选用不一样的算法, 例如, 相似知乎头部搜索的 AutoComplete 部分, 讲究的是速度快, 兴趣相关( 优先找和你帐户相关, 和可能感兴趣的内容 ), 分词算法反而在其次了. 而像全文搜索这样大段大段的长文字. 我以为则更注重的是精准, 应该选一个像CRF这样的算法.