Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、Spark SQL数据检索语言、Tachyon文件系统、SparkR计…

在Spark Streaming中，job不断的产生，有时候会产生一些空RDD，而基于这些空RDD生成的job大多数情况下是没必要提交到集群执行的。执行没有结果的job，就是浪费计算资源，数据库连接资源，产生空文件等。 …

1.转化操作#### 对一个数据{1，2，3，3}的RDD进行基本的RDD转化操作 （1）map() 将函数应用于RDD中的每个元素，将返回新的RDD rdd.map(x => x+1) 返回{2，3，4，4 } …

过滤RDD中的数据通过查看RDD的官方AIP，可以使用两种方法，filter和collect filter scala> val testRDD = sc.makeRDD(1 to 10) testRDD: org…

Spark快速入门指南 – 梦里花落的博客 – 博客频道 – CSDN.NET http://blog.csdn.net/qq_19244267/article/details/464…

前面讲到了RDD的分区、RDD的创建，这节将讲解RDD的转换，RDD的转换就是从父RDD生成一个新的RDD，新的RDD分区可能和父RDD一致也可能不再一致。 常用的转换函数: map map是对每个元素进行转换，生成新的…

RDD是容错、并行的数据结构，具备分区的属性，这个分区可以是单机上分区也可以是多机上的分区，对于RDD分区的数量涉及到这个RDD进行并发计算的粒度。每一个分区都会在一个单独的task中执行。 可以为其指定分区个数，如果从…

RDD编程 RDD创建： 第一种：读取一个外部数据集。比如，从本地文件加载数据集，或者从HDFS文件系统 从文件系统中加载数据创建RDD 从本地加载： scala> val lines = sc.textFile(…

1. 前言 spark sql中使用DataFrame/DataSet来抽象表示结构化数据（关系数据库中的table），DataSet上支持和RDD类似的操作，和RDD上的操作生成新的RDD一样，DataSet上的操作生…

数据读取与保存 到目前为止，所展示的示例都是从本地集合或者普通文件中进行数据读取和保存的。但有时候，数据量可能大到无法放在一台机器中，这时就需要探索别的数据读取和保存的方法了。 Spark支持以下三种主要数据源：1. 文…

Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。 关于状态管理 在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Dur…

rdd.countByValue dfNotNull.map(_.getAs[String]("allSixId")).filter(_.startsWith("advertising_id_s")).countByVa…