sortByKey 官方文档描述： Sort the RDD by key, so that each partition contains a sorted range of the elements in ascen…
标签：rdd
Spark 3. RDD 操作一 基础 ，放入方法，闭包，输出元素, 使用 K-V 工作
RDD 操作一 基础 ，放入方法，闭包，输出元素,使用 Key-Value 工作 原文地址： http://spark.apache.org/docs/latest/programming-guide.html 仅限交流…
spark的RDD五大特点
RDD的5大特点 1）有一个分片列表，就是能被切分，和Hadoop一样，能够切分的数据才能并行计算。 一组分片（partition），即数据集的基本组成单位，对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算…
【Spark Java API】Transformation(10)—combineByKey、groupByKey
combineByKey 官方文档描述： Generic function to combine the elements for each key using a custom set of aggregation f…
Scala - DataFrame
基本概念 What’s DataFrame A DataFrame is equivalent to a relational table in Spark SQL [1]。 DataFrame的前身是Sch…
Spark RDD Map Reduce 基本操作
RDD是什么？ RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布…
Spark学习
第一周 Spark生态系统概述与编程模型 Spark生态系统概述 回顾Hadoop MapReduce Spark运行模式 RDD Spark运行时模型简介 缓存策略介绍 transformation action li…
Spark Streaming 中使用c3p0连接池操作mysql数据库
在Spark Streaming的应用程序中，有时候需要将计算结果保存到数据库中，为了高效这里使用批量插入，结合c3po连接池，说明一下使用方法。 数据计算完成后，在foreachRDD中批量插入数据，因为是针对每一个p…
Spark 6. RDD 持久化
RDD 持久化 原文地址： http://spark.apache.org/docs/latest/programming-guide.html 仅限交流使用，转载请注明出处。如有错误，欢迎指出！ Henvealf/译 …
spark底层源码解析之作业提交:
作业的提交做的主要的事情是:通过提交的最后一个rdd的依赖关系来划分stage,在再将stage转换成task,由diver端发送给一个个的将task发送到Mster端,最后提交到到CoarseGrainedExecut…
PySpark笔记(二)：RDD
RDD（Resilient Distributed Dataset），全称弹性分布式数据集，是Spark对数据进行的核心抽象概念。我们可以将RDD理解为一个不可变的分布式对象集合，他可以包含Python、Java、Sca…
Spark会把数据都载入到内存么？
这篇文章算是个科普贴。如果已经熟悉Spark的就略过吧。 前言 很多初学者其实对Spark的编程模式还是RDD这个概念理解不到位，就会产生一些误解。 比如，很多时候我们常常以为一个文件是会被完整读入到内存，然后做各种变换…
