kotlin 数据库 anko cursor 建表 package com.example.lostfond2.search object HistoryRecordContract { const val TABLE_…

spark RDD常用函数/操作 文中的代码均可以在spark-shell中运行。 transformations map(func) 集合内的每个元素通过function映射为新元素 val a = Array(1,2…

先看源码： import org.apache.spark.{SparkConf, SparkContext} import org.elasticsearch.spark._ /** * Created by magn…

1. 前言 本文主要讲述一下我对spark任务调度过程的理解，必要的地方会配合源码。 2 . Spark任务调度 2.1 基本概念 Job 用户提交的spark应用程序中任何一个action操作（foreach,coun…

文章地址：http://www.haha174.top/article/details/255855 项目源码：https://github.com/haha174/spark.git 1.安装scala 安装idea …

本文基于spark源码2.11 1. 前言 shuffle是spark job中一个重要的阶段，发生在map和reduce之间，涉及到map到reduce之间的数据的移动，以下面一段wordCount为例： def ma…

这篇文章将带大家一起学习Spark中DataFrame的基本操作。 1、创建DataFrame 本文所使用的DataFrame是通过读取mysql数据库获得的，代码如下: val spark = SparkSession…

测试源码 下面来看看groupByKey和reduceByKey的区别： val conf = new SparkConf().setAppName("GroupAndReduce").setMaster("local"…

receiver 方式 /* 输入的四个参数分别代表着 * 1. zkQuorum ：zookeeper地址 * 2. group：消费者所在的组 * 3. topics：该消费者所消费的topics * 4. numT…

闲来无事，研究一下Spark Rdd的处理过程。 以一个简单的例子看看： val textRDD = sc.textFile("/home/ubuntu/people.txt") val filterRDD = text…

有两种创建StreamingContext的方式： val conf = new SparkConf().setAppName(appName).setMaster(master); val ssc = new Stre…

RDD编程 RDD创建： 第一种：读取一个外部数据集。比如，从本地文件加载数据集，或者从HDFS文件系统 从文件系统中加载数据创建RDD 从本地加载： scala> val lines = sc.textFile(…