分词

对于西方拼音语言来说，从词之间由明确的分界符，而很多亚洲语言（如汉语、日语、韩语、泰语）词之间没有明确的分界符，因此需要先对句子进行分词，才能做进一步的自然语言处理（也适用于英文词组的分割、或者手写识别，平板电脑、智能手机手写时单词间的空格可能不清楚）。 分词的输入是一串词，分词的输出是用分界符分割的一串词。 分词的不一致性问题： 越界型错误：“北京大学生” -> “北京大学”、“生” 覆盖型错误

>>阅读原文<<