spark:SparkContext原理

2019年6月8日 187次阅读来源: 过江小卒

《spark:SparkContext原理》

1.创建SparkContext会 createTaskScheduler()，DAGScheduler,SparkUI.

createTaskScheduler在里面会创建3个对象，TaskSchedulerImpl，SparkDeploySchedulerBackend,SchedulePool(它有不同的优先策略，比如FIFO).

a. TaskSchedulerImpl,它其实就是我们所说的TaskScheduler,调用它的start()方法

b.TaskSchedulerImpl的start()其实调用SparkDeploySchedulerBackend的start()

c.SparkDeploySchedulerBackend的start()里，AppClient，创建一个ClientActor

d.调用registerWithMaster()->tryRegisterAllMasters()

    原文作者：过江小卒
    原文地址: https://www.jianshu.com/p/608ddf7015d9
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。