sparkR调用R的执行分布式计算

环境spark2.4.5,R3.6, install.package("SparkR"),默认sparkR提供的函数支持对应的版本为spark2.4.5不支持2.4.0 如:将data.table,data.frame dt.score数据集转化成sparkR中的dataframe时可以执行sparkR中提供的方法 sparkR默认会覆盖掉R中的方法 如需要调用R中的方法需要指定调用 datafr

>>阅读原文<<