StreamingPro目前已经涵盖流式/批处理，以及交互查询三个领域，实现配置和SQL化 前言 今天介绍利用 StreamingPro 完成批处理的流程。 准备工作 下载StreamingPro README中有下载地…

pyspark.streaming module Module contents class pyspark.streaming.StreamingContext(sparkContext, batchDuration=…

对比传统的基于 RDBMS 之上的数据仓库和商业智能项目，尝试着说说，Hadoop 之上的数据仓库，从ETL, 数据存储，到分析展现。重点围绕数据建模方面做分析，因为这是本文的重点，介绍一份新的数据建模方式 Data V…

文章也同时在个人博客 http://kimihe.com/更新 引言 “Apache Spark™ is a fast and general engine for large-scale da…

概况 spark提供了一些方案来调度资源。首先，每个spark程序都在跑在若干个独立的executor集群上的（其中executor是一个jvm来run task和store data），集群管理提供了集群层面的资源分配…

背景：我们希望将es中的数据通过elasticsearch-hadoop、或是elasticsearch-spark connector将其映射成hive\spark-sql 表，然后通过HQL,spark-s…

我们是否还需要另外一个新的数据处理引擎？当我第一次听到flink的时候这是我是非常怀疑的。 在大数据领域，现在已经不缺少数据处理框架了，但是没有一个框架能够完全满足不同的处理需求。 自从Apache spark出现后，貌…

Apache Spark 简介 Apache Spark 是什么 Apache Spark是一个分布式计算框架，旨在简化运行于计算机集群上的并行程序的编写。该框架对资源调度，任务的提交、执行和跟踪，节点间的通信以及数据并…

Resilient Distribute DataSet RDD是Spark最核心的理念, 要掌握Spark, 首先要把RDD这个概念搞明白. 下面我将尝试去解释一下RDD的概念. 如果你使用过Scala的集合类库, 那…

这个有两种方法 1 使用zipWithUniqueId获取id 并重建 DataFrame. import org.apache.spark.sql.SparkSession val spark = SparkSessi…

1、背景 有需要的可以联系我2317384986     yxxy1717 ① Application Properties 应用基本属性 spark.driver.cores &…

1. Application：Spark 的应用程序，用户提交后，Spark为App分配资源，将程序转换并执行，其中Application包含一个Driver program和若干Executor 2. SparkCon…