Spark 采坑系列（一） 集群环境读取本地文件的坑

Spark 采坑系列

今天在网上看了一个例子，Spark启动后读取文件并计算的例子，本身在按照网上方法使用的时候意外菜了坑。

首先，我将3台虚拟机的Spark集群以及Hadoop集群启动。

而后我在其中一个服务器上编辑了一个文本，命名sparkFirst，内容以下：

hello spark

hello world

hello spark!

 

保存后，存在了其中一台服务器上，而后我开始试验：

首先，执行spark的控制台命令spark-shell

 

而后，读取文本，并执行计算行数的命令，结果报错：

scala> val lines=sc.textFile("/opt/soft/hadoop/sparkFirst")

lines: org.apache.spark.rdd.RDD[String] = /opt/soft/hadoop/sparkFirst MapPartitionsRDD[1] at textFile at <console>:24

 

scala> lines.count()

报错如图

 

而后开始上网找缘由，网上说若是Spark采用集群模式读取本地文件，必须保证每一个集群下都有相同的问题件，不然就会报找不到文件的错误：

WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, 192.168.194.130, executor 1): java.io.FileNotFoundException: File file:/opt/soft/hadoop/sparkFirst does not exist

而且，不少人建议采用hdfs的方式加载文件，这样就不会出现刚才的问题了，好用而且高大上。既然这样，咱们就来试一试，把刚才的文件上传到hdfs中：

 

咱们将sparkFirst 文件上传到了hdfs的根目录（注意最后的 .），而后咱们将加载文件的路径改成hdfs路径并再次尝试。

 

最后成功！