Jenkins卸载方法（Windows/Linux/MacOS） 注意： 命令行运行的war包或者安装包，都会在命令行上提示了配置文件文件夹.jenkins 一、Mac下 //进入以下目录，双击运行 /Library/A…

一、安装Hadoop HBase存储层虽然可以不使用HDFS，但是有所违背，因此还是需要有Hadoop环境，可参考 请参考：hadoop搭建[单机模式+伪分布式] 二、安装HBase(本地独立|伪分布式) 下载 http…

“太长不看!”，我们尽量压缩，只讲重点和基础。 概念 大白话：我写了一些粗糙的框架功能，给了你一个使用的接口，由你来完成具体的细节，而你就是我的delegate，我委托你来做。 举例 不上代码的作者不是好程序员 下面附上…

1. Application：Spark 的应用程序，用户提交后，Spark为App分配资源，将程序转换并执行，其中Application包含一个Driver program和若干Executor 2. SparkCon…

Spark History Server配置使用 – 瞌睡中的葡萄虎 – 博客园 http://www.cnblogs.com/luogankun/p/3981645.html Spark his…

3.1 Spark应用执行机制分析 下面对Spark Application的基本概念和执行机制进行深入介绍。 3.1.1 Spark应用的基本概念 Spark应用（Application）是用户提交的应用程序。Spar…

上一节我们是不是讲到，Driver，Application注册到Master上面后，Master中调用scheduler()进行资源调度，在这个里面通过LaunchDriver(),LaunchExecutor()，向W…

基于YARN的SPARK管理过程 前言 MapReduce与Spark中Job概念的区别 在MapReduce中的一个抽象概念是Job，在Job执行时系统会加载数据，然后执行Map, Shuffle, Reduce等操作…

####蔚蓝天空#### 当我们编写好自己的应用application后，打JAR包，放入一个spark集群节点上执行：spark-submit…等角本来执行application时，（其实我们之前的提交模式…

现象描述： Application主要是从hadoop文件中读取数据，然后计算出24小时的车辆状态，并存储。所以总共24个Job。之前Application的平均执行时间是2小时，目前执行时间是5小时。仔细查看Appli…

Spark应用概念 Spark应用（Application）是用户提交的应用程序。执行模式又Local、Standalone、YARN、Mesos。根据Spark Application的Driver Program是否…

1、 在搭建好hadoop，spark之后，提交第一次任务的时候就出现了错误。 在任务提交并创建之后，从8088看，任务一直处于ACCEPTED状态，而在shell中一直重复如下信息： 17/04/03 16:43:24…

1. spark提交后一直循环accepted spark on yarn提交任务时一直显示ACCEPTED，过一个小时后就会出现任务失败，但在提交时shell终端显示的日志并没有报错，logs文件夹中也没有日志产生。注…

Spark运行架构 术语定义 Client：客户端进程，负责提交作业到Master。 Master：Standalone模式中主控节点，负责接收Client提交的作业，管理Worker，并命令Worker启动Driver…

今天遇到了一个问题 Unable to instantiate application com.android.tools.fd.runtime.BootstrapApplication 解决方法：去掉打钩的地方 同时在…