磁盘块管理器DiskBlockManager

DiskBlockManager管理和维护了逻辑上的Block和存储在Disk上的物理的Block的映射。默认状况下,一个逻辑的Block会根据它的BlockId生成的名字映射到一个物理上的文件。可是,也能够使用mapBlockToFileSegment方法映射到一个文件的一段区域。 这些物理文件会被hash到由spark.local.dir(或者经过SPARK_LOCAL_DIRS来设置)上的不
相关文章
相关标签/搜索