概述 checkpoint 的机制保证了需要访问重复数据的应用 Spark 的DAG执行行图可能很庞大，task 中计算链可能会很长，这时如果 task 中途运行出错，那么 task 的整个需要重算非常耗时，因此，有必要…

1.概述 每一个spark streaming 应用正常来说都要7*24小时运转的，这就是实时计算程序的特点。因为要持续不断的对数据进行计算。因此，对实时计算的要求，应该是必须能够与应用程序逻辑无关的失败，进行容错。 如…

在编写Spark Streaming 程序的时候，往往需要我们自行设置checkpoint， 那么它要如何设置，作用又是什么呢？ 其实， checkpoint的目的是保证长时间运行的任务在意外挂掉之后能够拉起的时候不丢失…

一个 Streaming Application 往往需要7*24不间断的跑，所以需要有抵御意外的能力（比如机器或者系统挂掉，JVM crash等）。为了让这成为可能，Spark Streaming需要 checkpoi…

Check Point sparkContext.setCheckpointDir() spark的checkpoint目录在集群模式下，必须是 hdfs path。因为在集群模式下，实际上 checkpointed R…

Cache 和 Checkpoint 作为区别于 Hadoop 的一个重要 feature，cache 机制保证了需要访问重复数据的应用（如迭代型算法和交互式应用）可以运行的更快。与 Hadoop MapReduce j…