本文记录了利用Scala和Java两种语言来实现先分组，然后取每个分组的TopN。 1.文本内容 class1 90 class2 56 class1 87 class1 76 class2 88 class1 95 c…

搭建好HADOOP高可用后 发现HADOOP2.7.x版本并不能支持SPARK1.6.x因此重新搭建了HADOOP2.6.5高可用集群节点配置如下 hadoop1 192.168.1.111 hadoop2 192.16…

遇到的问题： 在配置spark的时候，启动spark-shell正常启动和使用，但是使用脚本start-all.sh 启动所有的服务时遇到问题，抛出Java异常： Unsupported major.minor vers…

StreamingPro目前已经涵盖流式/批处理，以及交互查询三个领域，实现配置和SQL化 前言 今天介绍利用 StreamingPro 完成批处理的流程。 准备工作 下载StreamingPro README中有下载地…

pyspark.streaming module Module contents class pyspark.streaming.StreamingContext(sparkContext, batchDuration=…

文章也同时在个人博客 http://kimihe.com/更新 引言 “Apache Spark™ is a fast and general engine for large-scale da…

概况 spark提供了一些方案来调度资源。首先，每个spark程序都在跑在若干个独立的executor集群上的（其中executor是一个jvm来run task和store data），集群管理提供了集群层面的资源分配…

背景：我们希望将es中的数据通过elasticsearch-hadoop、或是elasticsearch-spark connector将其映射成hive\spark-sql 表，然后通过HQL,spark-s…

我们是否还需要另外一个新的数据处理引擎？当我第一次听到flink的时候这是我是非常怀疑的。 在大数据领域，现在已经不缺少数据处理框架了，但是没有一个框架能够完全满足不同的处理需求。 自从Apache spark出现后，貌…

Apache Spark 简介 Apache Spark 是什么 Apache Spark是一个分布式计算框架，旨在简化运行于计算机集群上的并行程序的编写。该框架对资源调度，任务的提交、执行和跟踪，节点间的通信以及数据并…

Resilient Distribute DataSet RDD是Spark最核心的理念, 要掌握Spark, 首先要把RDD这个概念搞明白. 下面我将尝试去解释一下RDD的概念. 如果你使用过Scala的集合类库, 那…

这个有两种方法 1 使用zipWithUniqueId获取id 并重建 DataFrame. import org.apache.spark.sql.SparkSession val spark = SparkSessi…