Jenkins卸载方法(Windows/Linux/MacOS) 注意: 命令行运行的war包或者安装包,都会在命令行上提示了配置文件文件夹.jenkins 一、Mac下 //进入以下目录,双击运行 /Library/A…
标签:application
hbase-1.2.6安装[本地独立模式+伪分布式]
一、安装Hadoop HBase存储层虽然可以不使用HDFS,但是有所违背,因此还是需要有Hadoop环境,可参考 请参考:hadoop搭建[单机模式+伪分布式] 二、安装HBase(本地独立|伪分布式) 下载 http…
关于Objective-C的delegate极简讲解
“太长不看!”,我们尽量压缩,只讲重点和基础。 概念 大白话:我写了一些粗糙的框架功能,给了你一个使用的接口,由你来完成具体的细节,而你就是我的delegate,我委托你来做。 举例 不上代码的作者不是好程序员 下面附上…
spark概念理解
1. Application:Spark 的应用程序,用户提交后,Spark为App分配资源,将程序转换并执行,其中Application包含一个Driver program和若干Executor 2. SparkCon…
Spark History Server配置使用
Spark History Server配置使用 – 瞌睡中的葡萄虎 – 博客园 http://www.cnblogs.com/luogankun/p/3981645.html Spark his…
3.1 Spark应用执行机制分析
3.1 Spark应用执行机制分析 下面对Spark Application的基本概念和执行机制进行深入介绍。 3.1.1 Spark应用的基本概念 Spark应用(Application)是用户提交的应用程序。Spar…
[第九章]Job触发流程原理剖析
上一节我们是不是讲到,Driver,Application注册到Master上面后,Master中调用scheduler()进行资源调度,在这个里面通过LaunchDriver(),LaunchExecutor(),向W…
基于YARN的SPARK管理过程
基于YARN的SPARK管理过程 前言 MapReduce与Spark中Job概念的区别 在MapReduce中的一个抽象概念是Job,在Job执行时系统会加载数据,然后执行Map, Shuffle, Reduce等操作…
[第一章] spark内核原理
####蔚蓝天空#### 当我们编写好自己的应用application后,打JAR包,放入一个spark集群节点上执行:spark-submit…等角本来执行application时,(其实我们之前的提交模式…
Spark 任务执行排查慢的问题排查-2
现象描述: Application主要是从hadoop文件中读取数据,然后计算出24小时的车辆状态,并存储。所以总共24个Job。之前Application的平均执行时间是2小时,目前执行时间是5小时。仔细查看Appli…
【Spark】Spark应用执行机制
Spark应用概念 Spark应用(Application)是用户提交的应用程序。执行模式又Local、Standalone、YARN、Mesos。根据Spark Application的Driver Program是否…
Spark集群搭建过程中遇到的一些问题
1、 在搭建好hadoop,spark之后,提交第一次任务的时候就出现了错误。 在任务提交并创建之后,从8088看,任务一直处于ACCEPTED状态,而在shell中一直重复如下信息: 17/04/03 16:43:24…
Spark on yarn遇到的问题
1. spark提交后一直循环accepted spark on yarn提交任务时一直显示ACCEPTED,过一个小时后就会出现任务失败,但在提交时shell终端显示的日志并没有报错,logs文件夹中也没有日志产生。注…
Spark—运行时架构
Spark运行架构 术语定义 Client:客户端进程,负责提交作业到Master。 Master:Standalone模式中主控节点,负责接收Client提交的作业,管理Worker,并命令Worker启动Driver…
Unable to instantiate application com.android.tools.fd.runtime.BootstrapApplication
今天遇到了一个问题 Unable to instantiate application com.android.tools.fd.runtime.BootstrapApplication 解决方法:去掉打钩的地方 同时在…