[Spark] Spark 3.0 Accelerator Aware Scheduling - GPU

Ref: Spark3.0 preview预览版尝试GPU调用（本地模式不支持GPU）

预览版本：https://archive.apache.org/dist/spark/spark-3.0.0-preview/

 

 

Ref: Apache Spark3.0什么样？一文读懂Apache Spark最新技术发展与展望

2. Accelerator Aware Scheduling

Spark依赖Accelerator Aware Scheduling来感知GPU计算资源，从而调度深度学习任务。实际上，Spark自己并不直接管理GPU资源，而是经过YARN等资源管理框架在Application Level来申请并得到计算所需的GPU资源。用户能够在Context中获取GPU信息，从而实现GPU计算，完成深度学习任务。须要注意的是，Spark支持的计算加速器并不限于GPU，能够很容易扩展到FPGA等其余加速器类型。

 

 

Ref: Apache Spark 3.0 将内置支持 GPU 调度，文末有福利

 

 

/* implement */