zipPartitions 官方文档描述： Zip this RDD's partitions with one (or more) RDD(s) and return a new RDD by applying a f…

我的原创地址：https://dongkelun.com/2018/06/03/sparkCacheAndPersist/ 1、RDD 持久化 Spark 中一个很重要的能力是将数据持久化（或称为缓存），在多个操作间都可…

简介   Spark SQL提供了两种方式用于将RDD转换为Dataset。 使用反射机制推断RDD的数据结构   当spark应用可以推断RDD数据结构时，可使用这种方式。这种基于反射的方法可以使代码更简洁有效。 通过…

1.Pair RDD的转化操作 以键值对集合{(1,2),(3,4),(3,6)}为例 1.reduceByKey(func) 合并具有相同键的值 rdd.reduceByKey((x,y) => x+y) 结果：…

Spark技术内幕：深入解析Spark内核架构设计与实现原理 第三章 Spark RDD实现详解 RDD是Spark最基本也是最根本的数据抽象，它具备像MapReduce等数据流模型的容错性，并且允许开发人员在大型集群上…

mapPartitions 官方文档描述： Return a new RDD by applying a function to each partition of this RDD. ** mapPartitions函…

Resilient Distribute DataSet RDD是Spark最核心的理念, 要掌握Spark, 首先要把RDD这个概念搞明白. 下面我将尝试去解释一下RDD的概念. 如果你使用过Scala的集合类库, 那…

该系列spark学习笔记基于Python Spark. RDD（弹性分布式数据集）是一个不可变的分布式对象集合，可以包含Python、Java、Scala中任意类型的对象，和用户自己定义的对象。 创建RDD有两种方式：1…

Spark快速入门 | Ji ZHANG’s Blog http://shzhangji.com/blog/2014/12/16/spark-quick-start/ sc.textFile()用于生成一个R…

Spark Streaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。每次掉落在窗口内的RDD的数据，会被聚合起来执行计算操作，然后生成的RDD，会作为window DStream的一…

spark RDD常用函数/操作 文中的代码均可以在spark-shell中运行。 transformations map(func) 集合内的每个元素通过function映射为新元素 val a = Array(1,2…

cartesian 官方文档描述： Return the Cartesian product of this RDD and another one, that is, the RDD of all pairs of e…