Spark端口总结

Spark的端口总结

Master节点的web端口是8080,work节点的web端口是8081

spark master web ui 默认端口为8080,当系统有其它程序也在使用该接口(比如:Tomcat)时,启动master时也不会报错,spark自己会改用其它端口,自动端口号加1,也可以自行设置,修改方法:

1、cd $SPARK_HOME/sbin

2、vi start-master.sh

if [ “$SPARK_MASTER_WEBUI_PORT” = “” ]; then

SPARK_MASTER_WEBUI_PORT=8080 #可以修改端口号

fi

8080端口:master WEB端口

8081端口:work WEB端口

7077端口:

master通信端口

18080端口:spark历史服务器端口

相关配置:

conf目录下

cp spark-defaults.conf.template spark-defaults.conf

编辑spark-defaults.conf这个文件

编辑spark-env.sh文件

使用sbin/start-history-server.sh脚本启动

启动日志:

执行spark任务

启动日志:

Web界面

4040端口:

2.3  Spark当前执行的任务页面查看端口4040(例如:使用spark-shell启动spark,此时的任务可以在4040端口页面查看),如果任务结束了4040端口页面不能访问

默认是4040,我改配置改了下

    原文作者:海阔天空_d304
    原文地址: https://www.jianshu.com/p/5c0d2db96da0
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞