部署方案 spark官网下载基于hdp的Hadoop版本的pre-built的spark安装包 在机器上解压,并在spark-env中配置HADOOP_CONF_DIR,SPARK_CONF_DIR,spark-defa…
标签:conf
Spark History Server配置
(1) 修改spark-defaults.conf配置文件 该文件在SPARK_HOME/conf/下,新安装的spark中只有spark-defaults.conf.template这个文件,改名为spark-defa…
Spark各组件功能简单理解(quick start)
各个组件 conf/spark-env.sh 配置spark的环境变量 conf/spark-default.conf 配置spark应用默认的配置项和spark-env.sh有重合之处,可在提交应用时指定要用的配置文件…
spark任务提交时绝对路径添加额外配置文件提示找不到路径
spark任务提交,添加额外配置文件时用绝对路径读取不到上传的文件。 /usr/local/spark-2.1.0-bin-hadoop2.7/bin/spark-submit --name str_platform_t…
【MySQL】zabbix监控MySQL配置
1.在mysql数据库中创建zabbix用户 用来获取数据 GRANT PROCESS,SUPER,REPLICATION CLIENT ON *.* TO zabbix@'%' IDENTIFIED BY 'yourp…
大数据开发学习笔记——flume集成hive
又是周五啦~ 分享完就回家过周末~_~ flume集成hive的笔记 1、 确定你的flume在哪台主机上 2、 确认该台主机上的flume是否可以正常使用? 在指定的目录下,创建一个bigdata_page_to_hi…
apache2.4+php5.6虚拟主机配置
工作需要,得配一个 apache+php 的本地环境,选用的是 apache2.4 和 php5.6 apache 配置 打开 conf/httpd.conf 文件,找到如下内容并去掉第二行的#号: # Virtual …