MapReduce实现与自定义词典文件基于hanLP的中文分词详解

前言： 文本分类任务的第1步，就是对语料进行分词。在单机模式下，可以选择python jieba分词，使用起来较方便。但是如果希望在Hadoop集群上通过mapreduce程序来进行分词，则hanLP更加胜任。 一、使用介绍 hanLP是一个用java语言开发的分词工具， 官网是 http://hanlp.com/ 。 hanLP创建者提供了两种使用方式，一种是portable简化版本，内置了数据

>>阅读原文<<