1.用到的maven依赖       <dependency> <groupId>org.apache.spark</groupId> &l…

目录 body query match 模糊搜索 match_phrase 短文本搜索 match_phrase_prefix 短文本搜索, 支持前缀匹配 multi_match 同时匹配多字段 查询的JSON结构 普通…

  ETL实践–Spark做数据清洗     上篇博客，说的是用hive代替kettle的表关联。是为了提高效率。 本文要说的spark就不光是为了效率的问题。   1…

Spark应用架构主要包含两部分 1）Spark runtime application 2) Spark cluster。 Spark runtime application的主要组件是SparkDriver，它负责 …

1 Overview features 包里的代码，主要是用于构建 Spark 在 K8S 中的各类资源所需要的特征，个人觉得可以理解成这些 features 就是帮你写各类 Kind 的 YAML 文件。 2 分析 看…

001 Spark SQL 概述 Spark SQL is Apache Spark’s module for working with structured data. 集成Spark Sql 可以使用 S…

RDD从一个样子转换成另一个状态，代码执行了，啥也没干，到了最后一步一下干了！懒加载是怎么做到的？打开RDD.scala，看最基础的map方法 /** * Return a new RDD by applying a f…

1、agg(expers:column*) 返回dataframe类型 ，同数学计算求值 df.agg(max("age"), avg("salary")) df.groupBy().agg(max("age"), av…

[Spark][Python][DataFrame][Write]DataFrame写入的例子 $ hdfs dfs -cat people.json {"name":"Alice","pcode":"94304"}{"…

Spark源码分析之-scheduler模块 这位写的非常好, 让我对Spark的源码分析, 变的轻松了许多 这里自己再梳理一遍 先看一个简单的spark操作, val sc = new SparkContext(……)…

一、Python基础 Python简明教程（Python3） Python3.7.4官方中文文档 Python标准库中文版 廖雪峰 Python 3 中文教程 Python 3.3 官方教程中文版 Python3 Coo…

今天选用的样例是最简单的【NetworkWordCount】,原始代码地址：https://github.com/apache/spark/blob/v2.3.0/examples/src/main/scala/org/…