SPARK命令行读取parquet数据

1，进入spark shell

./spark-shell

2，执行如下操做读取parquet文件

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

val parquetFile = sqlContext.parquetFile("/home/neunntest/hdfs/dataSet/2018-1-2/iris20180102_1514855343/*.parquet")

3，打印具体内容

parquetFile.take(150).foreach(println)