hdfs读写原理

目录 3个概念 写数据是输出流 读数据输入流 如何保证数据完整性 3个概念 block 这个块就是block,它是最大的一个单位。一般为128MB,当然你可以去改,不顾不推荐。因为块太小:寻址时间占比过高。块太大:Map任务数太少,作业执行速度变慢。 packet packet是第二大的单位,它是client端向DataNode,或DataNode的PipLine之间传数据的基本单位,默认64KB
相关文章
相关标签/搜索