1. Application：Spark 的应用程序，用户提交后，Spark为App分配资源，将程序转换并执行，其中Application包含一个Driver program和若干Executor 2. SparkCon…

操作场景         Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据，给其他Executor提供shuff…

本篇结构： CoarseGrainedExecutorBackend 接收 LaunchTask 消息 Executor 执行 launchTask 执行 Task 的 run 方法 一、CoarseGrainedExe…

一个Executor对应一个JVM进程。 从Spark的角度看，Executor占用的内存分为两部分：ExecutorMemory和MemoryOverhead。其中，ExecutorMemory为JVM进程的Java堆…

1. 问题背景 2. 原理分析 2.1 Executor生命周期 2.2 ExecutorAllocationManager上下游调用关系 3. 总结与反思 4. Community Feedback 1.问题背景 用户…

任务提交流程 概述 在阐明了Spark的Master的启动流程与Worker启动流程。接下继续执行的就是Worker上的Executor进程了，本文继续分析整个Executor的启动与任务提交流程 Spark-submi…

本文为 Spark 2.0 版本的源码分析，其他版本可能会有所不同 TaskScheduler 作为资源调度器的一个重要职责就在： 集群可用资源发生变化（比如有新增的 executor，有 executor lost 等…

本文章，原创 若泽数据 ，禁止所有阅读，转载，分享及评论 spark on yarn 执行流程前置 构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（…

好久没更新了，。。。太懒了。 在跑Spark-On-Yarn程序的时候，往往会对几个参数（num-executors，executor-cores，executor-memory等）理解很模糊，从而凭感觉地去指定值，这是…

我们知道，spark执行的时候，可以通过 –executor-memory 来设置executor执行时所需的memory。但如果设置的过大，程序是会报错的，如下 555.png 那么这个值最大能设置多少呢？…

Spark Job执行流程大体如下：用户提交Job后会生成SparkContext对象，SparkContext向Cluster Manager（在Standalone模式下是Spark Master）申请Executo…

（转载： http://www.open-open.com/lib/view/open1453249796636.html） 每一台host上面可以并行N个worker，每一个worker下面可以并行M个executor…