一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存,当集群中运行的任务特别多时,就会挂掉,原因是master会读取每个task的event log日志去生成spark ui,内…
标签:master
Spark端口总结
Spark的端口总结 Master节点的web端口是8080,work节点的web端口是8081 spark master web ui 默认端口为8080,当系统有其它程序也在使用该接口(比如:Tomcat)时,启动m…
【Spark】Master原理剖析-3个机制
从主备切换机制原理、注册机制原理、资源调度机制三个方面进行分析。 1.主备切换机制原理 前话:Master实际上可以配置2个,Spark原生的standalone模式是支持Master主备切换…
[第七章] spark 资源调度算法深入剖析
前面几章我们重点讲述了spark的的原理,sparkContext的初使化,spark主备切换,master的注册等。其中我们分析源码时,不管是driver,还是application在注册Master时都,在最后都有这…
Spark程序的配置
Spark Application’s Configuration 提示:有关如何配置Spark和用户程序的详细信息,请参阅官方文档中的Spark Configuration。 必要参数 在Spark应用程序运行之前,必…
Spark Storage ③ - Master 与 Slave 之间的消息传递与时机
本文为 Spark 2.0 源码分析笔记,某些实现可能与其他版本有所出入 再次重申标题中的 Master 是指 Spark Storage 模块的 Master,是运行在 driver 上的 BlockManager 及…
Spark安装和部署
单机模式 参考官网 Spark Standalone Mode 先安装配置好java环境,scala,下载spark解压至/usr/local/spark 启动spark的master ./sbin/start-mast…
[转]Spark-OpenTSDB 设置
https://libraries.io/github/SeelozInc/opentsdb-spark opentsdb-spark Module for accessing OpenTSDB data through…
Spark启动时的master参数以及Spark的部署方式
我们在初始化SparkConf时,或者提交Spark任务时,都会有master参数需要设置,如下: conf = SparkConf().setAppName(appName).setMaster(master) sc …
Spark连接master报Connection refused: no further information: /10.45.66.176:7077 异常
18/03/27 09:24:13 INFO StandaloneAppClient$ClientEndpoint: Connecting to master spark://10.45.66.176:7077̷…
Spark 相关概念介绍、架构原理、作业执行流程简介
这篇文章主要介绍 spark 的相关名词概念,和作业的执行流程,任务分配,希望通过这篇文章可以帮助大家对 spark 有一个更深层次的的理解。 名词解释: 1. Standalone模式下存在的角色。 Client:客户…
修改spark UI访问端口
默认情况下:当默认端口被占用,会自动加1 1、cd SPARK_HOME/sbin 2、vi start-master.sh 3、定位到下面部分内容: if [ “$SPARK_MASTER_WEBUI_PO…