问题 Spark on Yarn是将yarn作为ClusterManager的运行模式，Spark会将资源（container）的管理与协调统一交给yarn去处理。 Spark on Yarn分为client/clust…
标签：yarn
spark是什么
hadoop有文件系统HDFS，还有用来调度任务的YARN。而SPARK可以在YARN上开一个APPLICATION，然后提交一些JOB上去。 首先启动hadoop的hdfs和yarn，如下：start-dfs.shst…
hadoop spark HA高可用集群搭建
方案 192.168.211.129 elastic （zookeeper、kafka、hadoop namenode、yarn resourcemanager、hbase hmaster、park master、es …
Spark优化
Spark优化 worker 的资源分配：cpu, memroy, executors spark.yarn.executor.memoryOverhead, 0.1 * spark.executor.memory YA…
寻找spark executor日志
本文将介绍spark on yarn模式下，怎样找到executor的日志。运行环境是基于HDP2.6.0.3-8版本。 引言 spark on yarn应用在运行时和完成后日志的存放位置是不同的，一般运行时是存放在各个…
