自然语言处理(二)

任务要求: 基本文本处理技能:中英文字符串处理(删除不相关的字符、去停用词);分词(结巴分词);词、字符频率统计。 语言模型;unigram、bigram、trigram频率统计。 jiebe分词介绍和使用 1.中英文字符串处理(删除不相关的字符、去停用词 以保留相关字符方式删除不相关字符 去除停用词 jieba分词 jieba分词有三种模式,精确模式,全模式,搜索引擎模式 词、字符频率统计  
相关文章
相关标签/搜索