Hadoop的分布式缓存

一 背景 在执行MapReduce时，可能Mapper之间需要共享一些信息，如果信息量不大，可以将其从HDFS加载到内存中，这就是Hadoop分布式缓存机制。 二 分布式缓存的简单应用 例如，统计一个文本的单词在另外一个全量文本中是否存在，如果存在统计单词的数量，下面是Map阶段，将全量文本加载到分布式缓存中。 三 如何使用DistributedCathe 第1步：在main方法中加载共享文件的H

>>阅读原文<<