spark dataframe操做集锦(提取前几行,合并,入库等)

spark dataframe派生于RDD类,可是提供了很是强大的数据操做功能。固然主要对类SQL的支持。java 在实际工做中会遇到这样的状况,主要是会进行两个数据集的筛选、合并,从新入库。sql 首先加载数据集,而后在提取数据集的前几行过程当中,才找到limit的函数。apache 而合并就用到union函数,从新入库,就是registerTemple注册成表,再进行写入到HIVE中。api
相关文章
相关标签/搜索