Spark任务提交过程

2019年6月8日 160次阅读 来源: aaron1993

1. 前言

本文主要讲述一下我对spark任务调度过程的理解，必要的地方会配合源码。

2 . Spark任务调度

2.1 基本概念

  1. Job
    用户提交的spark应用程序中任何一个action操作（foreach,count…）都对应一个job的提交（提交job动作对应到源码SparkContext #runJob方），因此一个用户spark应用程序往往对应一到多个job。比如下面的例子：
    def main(args:Array[String]){
 val sparkConf = new SparkConf().setAppName("Log Query")
 val sc = new SparkContext(sparkConf)
 val lines = sc.textFile("README.md",3)
 val words = lines.flatMap(line => line.split(" "))
 val wordOne = words.map(word => (word,1))
 val wordCount = wordOne.reduceByKey(_ + _,3)
  // foreach是一个action，对应一个job
 wordCount.foreach(println)
  // collect是一个action，对应一个job
 val resultAsArry = wordCount.collect() }
  2. Stage
    Job提交之后，首先会被划分为一到多个Stage，划分Stage的原因在于一个job中有些操作(Transformation)是可以连在一起在同一个线程里执行的，这些连在一起的操作就像一根管道一样，数据从顺着管道流下去就行(比如.map.filter就可以连在一起)，可是有些操作(shuffle操作，reduce，group等)会导致管道出现分支,数据不得不分流到不同管道，Stage的划分就以这中会导致分流(shuffle)的操作为分割，划分成不同的Stage，显然划分会导致Stage的依赖，上游Stage必须运行完，才能让下游Stage运行。Stage和Job一样是一种静态的东西，一个Stage里包含没有Shuffle依赖（也就是没有分流）的一连串RDD。真正提交运行的是Task。
  3. Task
    Task是依据Stage建立起来的，上面说Stage包含了一连串RDD，RDD是一种数据的抽象描述，对应物理数据是包含了n个分区数据的。每一个Task就处理一个分区数据，一个包含了n个分区的Stage就会创建出n个Task，只有这n个Task都执行成功了，这个Stage才算成功，然后才可以执行下游的Stage。
  4. TaskSet
    TaskSet是task的集合，包含了同一个Stage中的部分或者全部task，每次提交的是TaskSet，然后根据TaskSet创建TaskSetManager，spark中TaskSetManager是任务调度器一个调度单元，当一个TaskSetManager被调度器调度到时，就会从TaskSetManager中拿若干个task去执行。task会失败重试，重试的那些task又会组成一个新的TaskSetManager去让调度器调度，因此，一个正在运行的Stage可能会有多个TaskSetManager正在等待调度。
  5. TaskSchedulerImpl
    任务调度器，它按照一定的策略调度TaskSetManager，然后会从被调度到的TaskSetManager获取若干个task发送到Executor去执行。只要TaskSetManager中有task没有运行完，那么这个TaskSetManager还是会继续被调度。目前有两种调度策略：FIFO和Fair模式。
  6. CoarseGrainedSchedulerBackend
    运行在driver端，可以当作是Rpc的一个端点，从任务调度器获取任务并发送到Executor上执行（LaunchTask），以及接收Executor汇报的Task运行状态信息（StatusUpdate）
  7. CoarseGrainedExecutorBackend
    运行在Executor上，从CoarseGrainedSchedulerBackend上接收运行任务的请求（LaunchTask），任务运行结束后通过它向CoarseGrainedSchedulerBackend汇报任务状态(StatusUpdate).

整个过程大致如下图：

《Spark任务提交过程》 任务提交过程

    原文作者：aaron1993
    原文地址: https://www.jianshu.com/p/99bd59864216
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞