ANSJ 分词 用户自定义分词加载顺序

ToAnalysis 精准分词

精准分词是Ansj分词的店长推荐款

它在易用性,稳定性.准确性.以及分词效率上.都取得了一个不错的平衡.若是你初次尝试Ansj若是你想开箱即用.那么就用这个分词方式是不会错的.

DicAnalysis 用户自定义词典优先策略的分词

用户自定义词典优先策略的分词,若是你的用户自定义词典足够好,或者你的需求对用户自定义词典的要求比较高,那么强烈建议你使用DicAnalysis的分词方式.

能够说在不少方面Dic优于ToAnalysis的结果

NlpAnalysis 带有新词发现功能的分词

nlp分词是总能给你惊喜的一种分词方式.

它能够识别出未登陆词.可是它也有它的缺点.速度比较慢.稳定性差.ps:我这里说的慢仅仅是和本身的其余方式比较.应该是40w字每秒的速度吧.

我的以为nlp的适用方式.1.语法实体名抽取.未登陆词整理.只要是对文本进行发现分析等工做

IndexAnalysis 面向索引的分词

面向索引的分词。顾名思义就是适合在lucene等文本检索中用到的分词。主要考虑如下两点

• 召回率
  • 召回率是对分词结果尽量的涵盖。好比对“上海虹桥机场南路” 召回结果是[上海/ns, 上海虹桥机场/nt, 虹桥/ns, 虹桥机场/nz, 机场/n, 南路/nr]
• 准确率
  • 其实这和召回自己是具备必定矛盾性的Ansj的强大之处是很巧妙的避开了这两个的冲突 。好比咱们常见的歧义句“旅游和服务”->对于通常保证召回 。你们会给出的结果是“旅游 和服 服务” 对于ansj不存在跨term的分词。意思就是。召回的词只是针对精准分词以后的结果的一个细分。比较好的解决了这个问题

BaseAnalysis 最小颗粒度的分词

基本就是保证了最基本的分词.词语颗粒度最很是小的..所涉及到的词大约是10万左右.

基本分词速度很是快.在macAir上.能到每秒300w字每秒.同时准确率也很高.可是对于新词他的功能十分有限.

功能统计

名称	用户自定义词典	数字识别	人名识别	机构名识别	新词发现
BaseAnalysis	X	X	X	X	X
ToAnalysis	√	√	√	X	X
DicAnalysis	√	√	√	X	X
IndexAnalysis	√	√	√	X	X
NlpAnalysis	√	√	√	√	√