SparkSQL与DataFrame

SparkSQL 历史回顾 对SparkSQL了解的童鞋或多或少据说过Shark,不错,Shark就是SparkSQL的前身。2011的时候,Hive能够说是SQL On Hadoop的惟一选择,负责将SQL解析成MR任务运行在大数据上,实现交互式查询、报表等功能。就在那个时候,Spark社区的小伙伴就意识到可使用Spark做为执行引擎替换Hive中的MR,这样可使Hive的执行效率获得极大提高。
相关文章
相关标签/搜索