添加关注 作者  祝威廉 2016.04.19 23:53* 写了147997字，被1139人关注，获得了540个喜欢 Spark会把数据都载入到内存么？ 字数1239 阅读3040 评论21 喜欢12 这篇文…

这里介绍了一些 spark RDD 中比较难理解的算子，方便以后回忆。 mapPartitions transformation转换 def mapPartitions[U](f: (Iterator[T]) =>…

reduce 官方文档描述： Reduces the elements of this RDD using the specified commutative and associative binary operato…

大数据学习交流微信群 Spark 采用Lineage（书里叫血统）和CheckPoint（检查点）两种方式来解决分布式数据集中的容错问题。Lineage本质上类似于数据库的重做日志（redo log），只不过这个日志粒度…

1. 比rdd更省内存 2. 执行效率更高 3.接口友好，使用方便 mark： https://databricks.com/blog/2016/01/04/introducing-apache-spark-datase…

转载请注明出处：http://www.jianshu.com/p/15739e95a46e @贰拾贰画生 最近在学习spark，理解这两个函数时候费了一些劲，现在记录一下。 1. rdd.fold(value)(func…

Spark/Spark Streaming transform 是一个很强的方法，不过使用过程中可能也有一些值得注意的问题。在分析的问题，我们还会顺带讨论下Spark Streaming 生成job的逻辑，从而让大家知道…

相比于传统代码，Spark是比较难调试的，所以对其进行单元测试是非常必要的。 RDD测试 RDD在集群中运行，每次修改bug后，都要上传到集群进行测试，代价非常大。 所以优先在本地进行单元测试，可以减少小模块的逻辑错误。…

spark中如何划分stage 窄依赖指父RDD的每一个分区最多被一个子RDD的分区所用，表现为 一个父RDD的分区对应于一个子RDD的分区 两个父RDD的分区对应于一个子RDD 的分区。 宽依赖指子RDD的每个分区都要…

代码优化部分 多个Action计算最好基于同一个RDD进行计算操作, 并且对相同的RDD进行Cache操作，避免重复计算，增加任务的执行时间；并且持久化级别最好使用MEMORY_ONLY_SER来减少内存使用； 在使用j…

首先我们看看官方的定义和用法介绍 RDD Persistence（持久化） Spark 中一个很重要的能力是将数据persisting持久化（或称为caching缓存），在多个操作间都可以访问这些持久化的数据。当持久化一…

本文简要介绍一下Spark。首先通过交互式shell介绍Spark API，然后是如何使用Scala编写应用程序。 要注意的是，Spark 2.0之前，Spark的主要编程接口是弹性分布式数据集（RDD）。而Spark …