上一节我们是不是讲到，Driver，Application注册到Master上面后，Master中调用scheduler()进行资源调度，在这个里面通过LaunchDriver(),LaunchExecutor()，向W…

1. spark提交后一直循环accepted spark on yarn提交任务时一直显示ACCEPTED，过一个小时后就会出现任务失败，但在提交时shell终端显示的日志并没有报错，logs文件夹中也没有日志产生。注…

    在组件化开发的过程中，在不增加模块间耦合的情况下，如果某些功能模块需要进行初始化，如何进行操作呢？这里先说一下常规的配置思路，后面会在这种方式的基础上做进一步的优化。 （1）在base模块中定义抽象类，类中涵盖了…

开场白 今天突然有感，想写一个通用的 application 组件出来，应该是对 application 的思考和积累有点心得了，要不怎么会突然冒出这个想法呢 在项目中我们都会一个 MainApplication 类承载…

从android体系架构这一篇我们知道android系统分为四个层次： 第一、操作系统层（OS 精简的Linux kernel） 第二、各种库（Libraries）和Android 运行环境（RunTime） 第三、应用…

####蔚蓝天空#### 当我们编写好自己的应用application后，打JAR包，放入一个spark集群节点上执行：spark-submit…等角本来执行application时，（其实我们之前的提交模式…

1. Application：Spark 的应用程序，用户提交后，Spark为App分配资源，将程序转换并执行，其中Application包含一个Driver program和若干Executor 2. SparkCon…

之前有个需求，App从前台切换到后台，不需要做什么操作；从后台切换到前台，需要先验证屏锁密码。于是乎，搜索了一下，“利用Application监听App处于前台和后台”，找到了一个国外的big god的解决方案。不要问我…

3.1 Spark应用执行机制分析 下面对Spark Application的基本概念和执行机制进行深入介绍。 3.1.1 Spark应用的基本概念 Spark应用（Application）是用户提交的应用程序。Spar…

1、 在搭建好hadoop，spark之后，提交第一次任务的时候就出现了错误。 在任务提交并创建之后，从8088看，任务一直处于ACCEPTED状态，而在shell中一直重复如下信息： 17/04/03 16:43:24…

一、安装Hadoop HBase存储层虽然可以不使用HDFS，但是有所违背，因此还是需要有Hadoop环境，可参考 请参考：hadoop搭建[单机模式+伪分布式] 二、安装HBase(本地独立|伪分布式) 下载 http…

Spark History Server配置使用 – 瞌睡中的葡萄虎 – 博客园 http://www.cnblogs.com/luogankun/p/3981645.html Spark his…