Spark只启动了Master，Worker没启动的

1. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
2. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
3. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
4. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
5. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
6. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
7. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
8. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
9. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
10. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
11. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
12. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
13. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
14. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
15. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
16. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
17. Exception in thread "main" java.net.BindException: 没法指定被请求的地址: Service 'sparkWorker' failed after 16 retries! Consider explicitly setting the appropriate port for the service 'sparkWorker' (for example spark.ui.port for SparkUI) to an available port or increasing spark.port.maxRetries.  
18.         at sun.nio.ch.Net.bind0(Native Method)  
19.         at sun.nio.ch.Net.bind(Net.java:433)  
20.         at sun.nio.ch.Net.bind(Net.java:425)  
21.         at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)  

 

 

 

spark的配置文件spark-env.sh以下

 

[html] view plain copy

1. export JAVA_HOME=/usr/jdk1.8  
2. export SCALA_HOME=/usr/hadoop/scala-2.11.4  
3. export HADOOP_HOME=/usr/hadoop/hadoop2.7.3  
4. export HADOOP_CONF_DIR=/usr/hadoop/hadoop2.7.3/etc/hadoop  
5. export SPARK_MASTER_IP=192.168.9.200  
6. export SPARK_WORKER_MEMORY=1g  
7. export SPARK_WORKER_CORES=1  
8. export SPARK_HOME=/usr/hadoop/spark-2.0.2  

在后面加上SPARK_LOCAL_IP以后三个Worker正常启动

 

[html] view plain copy

添加：

1. export SPARK_LOCAL_IP=127.0.0.1