Spark机器学习第5课:深入理解RDD、DataFrame、DataSet、Structured

  RDD的操作是以Partition为单位,输入的是Partition,输出的是itertor 它的计算是不透明,它是什么类型,从用户应用程序的角度来讲,类型是不透明的 由此我们无法做更多的细致优化,如果我们能清楚地知道类型,就能做更多的限制,也就有了更多优化的空间   以下是一些图的对比:   从结构化的角度来看,SQL只能在runtime才能发现语法错误和类型错误, DataFrane能在编
相关文章
相关标签/搜索