spark读取HDFS多个文件配置

状况说明:数据以parquet文件形式保存在HDFS上,数据中的某一列包含了日期(例如:2017-12-12)属性,根据日期对数据分区存储,以下图所示: 正则表达式 项目需求:  在项目中想要读取某一个月的数据,肿么办?  解决方法:  spark中读取本地文件的方法以下:ide sparkSession.read.parquet("hdfs://path") 1 方法一:  要读取多个文件,文件
相关文章
相关标签/搜索