failure: ``union'' expected but `(' found

问题：

Spark 1.5.1 本地使用 SQLContext 报错：

failure: ``union'' expected but `(' found
复制代码

这个报错在位置在开窗函数执行语句处。

缘由及解决方法：

从 Spark 2.0 开始，Spark SQL 才本地实现了开窗函数（SPARK-8641），在 Spark 2.0 以前要使用开窗函数，必须使用 HiveContext 去操做。

同时，开窗函数是从 Spark 1.4 引进的，因此当 Spark 版本小于 1.4 的话是无法使用开窗函数的。

因此看若是你的 Spark 版本小于 1.4 则无法用开窗函数，若是在 1.4 到 2.0 之间（Spark 在 1.6.x 以后就直接跳到 2.0 版本了）就使用 HiveContext 去使用开窗函数，若是是 2.0 以后的版本能够直接使用 SQLContext。