在Spark中，完成计算主要依赖RDD数据结构，RDD（弹性分布式数据集）是一个重要的API，它提供了一个抽象的数据架构，我们不必担心底层数据的分布式特性，只需将具体的应用逻辑表达为一系列转换处理，不同RDD之间的转换操…

任务提交流程 image.png 分为四个阶段 阶段一 经过一系列的transformation，产生很多RDD，形成DAG DAG：（有向无环图，有方向 无闭环） 数据是有流向的，不是闭环的 阶段二 把DAG提交给 D…

一、Spark 运行架构 Spark 运行架构如下图： 各个RDD之间存在着依赖关系，这些依赖关系形成有向无环图DAG，DAGScheduler对这些依赖关系形成的DAG，进行Stage划分，划分的规则很简单，从后往前回…

分布式流处理需求日益增加，包括支付交易、社交网络、物联网（IOT）、系统监控等。业界对流处理已经有几种适用的框架来解决，下面我们来比较各流处理框架的相同点以及区别。 分布式流处理是对无边界数据集进行连续不断的处理、聚合和…

DAGScheduler DAGScheduler的主要任务是基于Stage构建DAG，决定每个任务的最佳位置 记录哪个RDD或者Stage输出被物化 面向stage的调度层，为job生成以stage组成的DAG，提交T…

前方高能，减速慢行！ 看过了Spark的核心RDD和RDD算子以后，感觉Spark是不是很神奇，竟然可以减少计算次数，优化计算。对于窄依赖是这样的，但是宽依赖怎么办？还是要等待宽依赖的结果才能继续计算。Spark引入了D…

上一篇文章讲解了RDD的基本概念, 这篇文章尝试分析当Spark拿到一个RDD之后是如何处理它的. 文中会涉及到Spark内部的实现细节, 希望通过本篇文章让大家对Spark有一个更深层次的了解. 背景知识 DAG DA…

随着企业的发展，他们的工作流程变得更加复杂，越来越多的有着错综复杂依赖关系的工作流需要增加监控，故障排除。如果没有明确的血缘关系。就可能出现问责问题，对元数据的操作也可能丢失。这就是有向无环图（DAG），数据管道和工作流…