sparksql(1)——Dataframe

sparksql类似于hive,但它基于内存,而hive基于mapreduce,而mapreduce又基于磁盘,所以spark处理数据快得多。 sparksql不止有sql语句,现在他还有Dataframe的API,Dataframe比写RDD要快。dataframe将非结构化数据schema化: 前提:打开spark—master和spark—slave(前面有讲过,我们用的是standalon
相关文章
相关标签/搜索