Hadoop Streaming框架之文件分发、数据分割、二次排序

1 使用cacheFile分发文件node 若是文件（如字典文件）存放在HDFS中，但愿计算时在每一个计算节点上将文件看成本地文件处理，，可使用-cacheFile hdfs://host:port/path/to/file#linkname选项在计算节点缓存文件，Streaming程序经过./linkname访问文件。apache 　　例如：缓存 　　 hadoop = `which hadoo

>>阅读原文<<