各个组件 conf/spark-env.sh 配置spark的环境变量 conf/spark-default.conf 配置spark应用默认的配置项和spark-env.sh有重合之处,可在提交应用时指定要用的配置文件…
标签:sh
大数据工具:Spark配置遇到的坑
遇到的问题: 在配置spark的时候,启动spark-shell正常启动和使用,但是使用脚本start-all.sh 启动所有的服务时遇到问题,抛出Java异常: Unsupported major.minor vers…
mysql数据库备份与维护脚本
准备工作: 创建mysql备份账号: GRANT SELECT, RELOAD, PROCESS, SUPER, LOCK TABLES, REPLICATION CLIENT ON *.* TO ‘back…
MySQL压测④--压测报告
绘图部分 需要部署gnuplot yum install -y gnuplot 关于绘图相关脚本的使用 TPCC部分 首先叶总网站上的tpcc指令里面有一个-f生成log的项,说实话并不知道这个-f生成的log有什么作用…
HBase golang初探
最近要进行大数据相关的任务,牛刀小试,先将最基础的HBase搭建并实践起来。本文借用docker,快速搭建HBase基础环境,并使用go结合thrift调用相关API进行数据操作。 0、方便起见,需要一个docker环境…