中文分词学习笔记

1 中文分词概述 1.1 简介 定义 通过计算机自动识别出句子中的词，在词间加入边界标记符，分隔出各个词汇。 为什么需要中文分词？因为，汉语中，书面上以字为基本单位，语义上以词为基本单位。 难点 1）没有统一的分词标准，不同的领域对于词的划分方式有不同的标准。 2）歧义消解     例子1：结婚的和尚未结婚的     结婚/的/和/尚未/结婚/的     结婚/的/和尚/未/结婚/的     例子

>>阅读原文<<