HDFS副本放置策略

HDFS副本放置策略 一、Rack机架 一般情况下,一台机架大概如下配置: 1台刀片机 256G内存 56物理核 4块500G ssd 10块 1T/块 机械硬盘 1W转 2颗GPU(不是cpu)用于数据挖掘 二、副本放置策略 假设有一份数据,三副本 第一个副本:在DataNode数据节点提交时,第一个块是本地节点,目的是节省了本地资源,占用了更少的带宽,如果是在集群外提交,则随机挑选一台磁盘不太
相关文章
相关标签/搜索