Spark DataSource API V2

Spark 1.3 引入了初版的数据源 API,咱们可使用它将常见的数据格式整合到 Spark SQL 中。可是,随着 Spark 的不断发展,这一 API 也体现出了其局限性,故而 Spark 团队不得不加入愈来愈多的专有代码来编写数据源,以得到更好的性能。Spark 2.3 中,新一版的数据源 API 初见雏形,它克服了上一版 API 的种种问题,原来的数据源代码也在逐步重写。本文将演示这两版
相关文章
相关标签/搜索