coalesce 官方文档描述： Return a new RDD that is reduced into `numPartitions` partitions. 函数原型： def coalesce(numParti…

sortBy 官方文档描述： Return this RDD sorted by the given key function. 函数原型： def sortBy[S](f: JFunction[T, S], ascen…

这里记录一些当前使用的pipeline模板和邮件模板 Java项目模板 // java项目 // 需要解析http返回结果时使用 import groovy.json.JsonSlurperClassic import …

foreach 官方文档描述： Applies a function f to all elements of this RDD. 函数原型： def foreach(f: VoidFunction[T]) ** for…

partitionBy 重新分区， repartition默认采用HashPartition分区， 关于数据倾斜https://www.jianshu.com/writer#/notebooks/11387253/not…

reduceByKey 官方文档描述： Merge the values for each key using an associative reduce function. This will also perform…

在Gralde中我们可以很方便的替换Manifest中的字符串： manifestPlaceholders = [UMENG_CHANNEL_VALUE: "myapp"] 但是，这种方式不适用于其他文件。 举个栗子，首…

Android 开发过程，可能会遇到依赖模块太多，手动的添加修改依赖就会觉得有点麻烦，这个时候可以考虑使用动态添加模块依赖，也是适用像 Jenkins 自动打包构建，就不需要频繁的去修改模块依赖，提高构建效率。 工程根目…

Spark源码分析：Spark运行模式及原理 1.运行模式概述 spark运行模式多种多样，分为以下几种 本地模式 为分布式 集群 standalone mesos hadoop yarn 基本框架： 2.相关类介绍 t…

saveAsTextFile 官方文档描述： Save this RDD as a text file, using string representations of elements. 函数原型： def saveA…

一、Groovy介绍 我们在Android中有很多build.gradle 等配置文件他们和xml 等的配置文件不同，这些文件可以说就是可以执行的代码，只是他们的结构看起来通俗易懂，和配置文件没什么两样，其它他们都是用G…

MongoDB基本函数应用 __author__ = ‘tianmh’ from pymongo import MongoClient def get_db(): #建立链接 client = M…