Spark Pipe调用外部程序

spark 中，有种特殊的Rdd，即pipedRdd，提供了调用外部程序如基于CUDA的C++程序，使其可以更快的进行计算。caffe on spark 和tensorflow on spark 也是基于此机制，那么，spark 和 外部程序是怎么交互的呢？ 下面经过一个简单的例子验证。web 步骤1：建立外部脚本 #!/bin/sh echo "Running shell script" whi

>>阅读原文<<