经过spark-shell脚本,剖析spark程序提交流程

vim打开spark-shell脚本能够看到下面这段脚本html spark-shell代码片断: java 能够看到在spark-shell脚本中调用了spark-submit脚本,打开spark-submit脚本发现包含以下脚本: python 能够看到在spark-submit脚本中,首先检查是否设置了SPARK_HOME,而后调用了spark-class,增长了参数SparkSubmit。
相关文章
相关标签/搜索