scala spark 对hdfs文件的操做

1.读取文件html 打印(获取)HDFS路径下全部的文件名(包括子目录下的) 2018-11-20java Scala HDFS 前言 本身有个需求,如题,须要获取HDFS路径下全部的文件名,而后根据文件名用Spark进行后续操做。想了一下用Spark好像不太容易获取到,还要递归的去获取子目录下的文件名,因而查了一下,最后用Hadoop的API搞定,这里记录下,方便之后会用到。apache 一、
相关文章
相关标签/搜索