spark on yarn 客户端WEB UI界面打不开

启动：bin/spark-shell --master yarn-client --executor-memory 1g --num-executors 3
部分日志：




日志上已经有提示UI地址：http://192.168.56.13:4040，但是打不开，8088端口的UI能访问：



为何  http://192.168.56.13:4040 会访问不了？

这应该是从端口启动ui服务，而非ui界面。
只有web才能访问，服务通过url不一定可以的，有的只是用来通信等作用

NEOGX 发表于 2016-6-11 08:35
这应该是从端口启动ui服务，而非ui界面。
只有web才能访问，服务通过url不一定可以的，有的只是用来通信等 ...

那怎么通过UI监控？我看有些地方说是直接可以从4040端口在WEB界面监控的。

可以通过浏览器访问http://<driver-node>:4040，必去先启动SparkContext。比如命令：./bin/spark-shell，出现eb界面信息

4040页面只有在有spark 任务运行时才能访问，提交job后Spark-UI才会启动。当任务运行完了，立马端口就释放了。


建议你配置一下spark-history 页面，运行完了可以查看已经finished的job，下面是简单的配置步骤，具体的还请百度教程。

spark-default.conf中配置如下参数
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoopmaster:8020/user/spark_event_log
spark.history.fs.logDirectory    hdfs://hadoopmaster:8020/user/spark_event_log


web ui  http://sparkmaster:18080/

spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=7777 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://had
oop000:8020/directory"

参数描述：
spark.history.ui.port=7777 调整WEBUI访问的端口号为7777
spark.history.fs.logDirectory=hdfs://hadoop000:8020/directory 配置了该属性后，在start-history-server.sh时就无需再显示的指定路径
spark.history.retainedApplications=3  指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除

启动
cd $SPARK_HOME/sbin
start-history-server.sh

需要在启动时指定目录：
start-history-server.shhdfs://hadoop000:8020/directory

注意的是spark 程序中需要将sparkcontext stop 掉，否则即便是运行完毕，web页面也只能显示incompleted applications，而不是completed applications

nextuser 发表于 2016-6-11 13:58
4040页面只有在有spark 任务运行时才能访问，提交job后Spark-UI才会启动。当任务运行完了，立马端口就释放 ...

谢谢，我试试

langke93 发表于 2016-6-11 13:54
可以通过浏览器访问http://:4040，必去先启动SparkContext。比如命令：./bin/spark-shell，出现eb界面信息
...

我的问题就是使用4040端口的WEB UI访问不了。我是在192.168.56.13上执行的 bin/spark-shell --master yarn-client --executor-memory 1g --num-executors 3，然后用http://192.168.56.13:4040访问WEB UI界面，访问不了。