Java API读取CDH-Hadoop Parquet文件

因为工做须要,基于目前公司集群存在较多的服务器且存在大量的内存,所以考虑直接将数据Load进内存进行数据处理,测试是否可以加快处理速度;鉴于以上目的,版主尝试使用Parquet的Java API读入Parquet文件。 目前关于使用Java API访问HDFS的文章较多,可是没有相关的配置比较容易出错;同时Java API读写Parquet虽然文章较多,但多数为基于本地文件的读写实例。所以,有必要
相关文章
相关标签/搜索