列裁剪 　　对于没用到的列，则没有必要读取它们的数据去浪费无谓的IO 　　比如我们有一张表table1，它含有四列数据(a,b,c,d)。当我们执行查询select a from table1 where c 10时…

案例来源：http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html Spark算子大致上可分三大类算子： 1、Value数据类型的Trans…

Spark Streaming是架构在Spark Core上的一个“应用”，SparkStreaming主要由DStreamGraph、Job的生成、数据的接收和导入以及容错四大模块组成，我们今天就从这四大模块入手，看看…

在Spark中转换算子并不会马上进行运算的，即所谓的“惰性运算”，而是在遇到行动算子时才会执行相应的语句的，触发Spark的任务调度开始进行计算。 Action-RDD 在这里我们可以将Spark中的行动算子分为两类： …

Spark算子的作用 下图描述了Spark在运行转换中通过算子对RDD进行转换。 算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。 输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textF…

RDD-Transformation 转换（Transformation）算子就是对RDD进行操作的接口函数，其作用是将一个或多个RDD变换成新的RDD。 使用Spark进行数据计算，在利用创建算子生成RDD后，数据处理…

处理数据类型为Value型的Transformation算子可以根据RDD变换算子的输入分区与输出分区关系分为以下几种类型: 1）输入分区与输出分区一对一型 2）输入分区与输出分区多对一型 3）输入分区与输出分区多对多型…

本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。 根据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类…