Jenkins卸载方法（Windows/Linux/MacOS） 注意： 命令行运行的war包或者安装包，都会在命令行上提示了配置文件文件夹.jenkins 一、Mac下 //进入以下目录，双击运行 /Library/A…

一、安装Hadoop HBase存储层虽然可以不使用HDFS，但是有所违背，因此还是需要有Hadoop环境，可参考 请参考：hadoop搭建[单机模式+伪分布式] 二、安装HBase(本地独立|伪分布式) 下载 http…

“太长不看!”，我们尽量压缩，只讲重点和基础。 概念 大白话：我写了一些粗糙的框架功能，给了你一个使用的接口，由你来完成具体的细节，而你就是我的delegate，我委托你来做。 举例 不上代码的作者不是好程序员 下面附上…

1. Application：Spark 的应用程序，用户提交后，Spark为App分配资源，将程序转换并执行，其中Application包含一个Driver program和若干Executor 2. SparkCon…

Spark History Server配置使用 – 瞌睡中的葡萄虎 – 博客园 http://www.cnblogs.com/luogankun/p/3981645.html Spark his…

3.1 Spark应用执行机制分析 下面对Spark Application的基本概念和执行机制进行深入介绍。 3.1.1 Spark应用的基本概念 Spark应用（Application）是用户提交的应用程序。Spar…

上一节我们是不是讲到，Driver，Application注册到Master上面后，Master中调用scheduler()进行资源调度，在这个里面通过LaunchDriver(),LaunchExecutor()，向W…

基于YARN的SPARK管理过程 前言 MapReduce与Spark中Job概念的区别 在MapReduce中的一个抽象概念是Job，在Job执行时系统会加载数据，然后执行Map, Shuffle, Reduce等操作…

####蔚蓝天空#### 当我们编写好自己的应用application后，打JAR包，放入一个spark集群节点上执行：spark-submit…等角本来执行application时，（其实我们之前的提交模式…

现象描述： Application主要是从hadoop文件中读取数据，然后计算出24小时的车辆状态，并存储。所以总共24个Job。之前Application的平均执行时间是2小时，目前执行时间是5小时。仔细查看Appli…