Hadoop MapReduce Spark 配置项

适用范围

本文涉及到的配置项主要针对 Hadoop 2.x，Spark 2.x。

MapReduce

官方文档

https://hadoop.apache.org/doc...
左下角: mapred-default.xml

配置项举例

name	value	description
mapreduce.job.reduce.slowstart.completedmaps	0.05	当 Map Task 完成的比例达到该值后才会为 Reduce Task 申请资源
mapreduce.output.fileoutputformat.compress	false	MapReduce Job 的结果输出须要使用压缩

Spark

官方文档

https://spark.apache.org/docs...
最后有提到想要直接配置 Hadoop 项，在 Hadoop 配置项前加 spark.hadoop 便可。
Custom Hadoop/Hive Configuration

配置项示例

Property Name	Default	Meaning
spark.dynamicAllocation.enabled	false	是否动态分配内存（Spark 原生配置项）
spark.hadoop.mapreduce.output.fileoutputformat.compress	false	Job 的结果输出是否使用压缩（Hadoop MR 配置项）

本文出自: walker snapshot