SequenceFile和MapFile

　　HDFS和MR主要针对大数据文件来设计，在小文件处理上效率低.解决方法是选择一个容器,将这些小文件包装起来,将整个文件作为一条记录,可以获取更高效率的储存和处理,避免多次打开关闭流耗费计算资源.hdfs提供了两种类型的容器 SequenceFile和MapFile。 　　小文件问题解决方案 在原有HDFS基础上添加一个小文件处理模块，具体操作流程如下: 当用户上传文件时，判断该文件是否属于小文

>>阅读原文<<