docker下的spark集群,调整参数榨干硬件

本文是《docker下,极速搭建spark集群(含hdfs集群)》的续篇,前文将spark集群搭建成功并进行了简单的验证,可是存在如下几个小问题:java spark只有一个work节点,只适合处理小数据量的任务,遇到大量数据的任务要消耗更多时间; hdfs的文件目录和docker安装目录在一块儿,若是要保存大量文件,极可能因为磁盘空间不足致使上传失败; master的4040和work的8080
相关文章
相关标签/搜索