原理 Spark on YARN的原理就是依靠yarn来调度Spark，比默认的Spark运行模式性能要好的多，前提是首先部署好hadoop HDFS并且运行在yarn上，然后就可以开始部署spark on yarn了，…

        一直以来都是在UI界面上查看Spark日志的，但有时想在终端里面查看某个job的日志该怎么看呢？今天特地查了下资料，找到如下命令： 1…

Janusgraph是一个分布式图数据库，继承自titan。Janusgraph的批量导入（bulkload）默认使用spark的local模式运行，不支持yarn-cluster模式。虽然支持yarn-client模式…

1.安装hadoop 2.配置yarn cd /usr/share/hadoop/hadoop-2.7.7/etc/hadoop 配置yarn-site.xml sudo vim yarn-site.xml <co…

启动Spark任务时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 会看到不停地上传jar，非常耗时；使用spark.yarn.archive可以大大地减少任务的启动时间，整个处理…

开源Spark运行在hdp的yarn集群失败分析： 部署方案 spark官网下载基于hdp的Hadoop版本的pre-built的spark安装包 在机器上解压，并在spark-env中配置HADOOP_CONF_DIR…

修改hdp的yarn配置 登陆到Ambari找到’Ambari -> YARN -> configs’的’Advanced’页面 找到页面底部的 ‘…

我们以数据源自kafka为例，进行spark作业调优的分析 1 资源评估 网络能力： 评估下使用的节点数、网络带宽，与所要处理的数据量，在网络能力上是否匹配。节点直接的网络是否符合预期。 计算能力： 估算下所拥有的节点的…

1. 先说一下Myriad的简单原理 Myriad存在的意义是Mesos和Yarn的共存，Mesos和Yarn都作为资源管理框架去管理整个集群的资源，正所谓一山不容二虎，它们俩共存必须有一个中间调和者，这时Myriad就…

需要HADOOP_CONF_DIR YARN_CONF_DIR环境变量，用于写入数据到hdfs和连接到yarn的resourcemanager。 启动方式同样有两种： cluster mode 在yarn集群中的一个进程…

spark-submit参数设置说明，即提交EMR集群的Spark作业资源调优，详见该链接：spark-submit 参数设置说明 和该链接：Spark On YARN内存和CPU分配。 AM: YARN Applica…

看一下提交命令 offline.sh 中的一个有趣的配置： spark2-submit \ --class $1 \ --master yarn \ --deploy-mode cluster \ --driver-me…