Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护…
标签:tar
Spark学习(Python版本):学习笔记目录
这个系列是跟着林子雨老师的子雨大数据之Spark入门教程(Python版)所做的学习笔记。 软件源以及版本: spark-2.1.0-bin-without-hadoop.tgz spark-2.1.0-bin-h27h…
Mac下Hadoop的安装和启动
环境条件 JDK1.8 Hadoop 2.7.5 mac os Hadoop部署步骤 第一步 安装JDK 因为Hadoop是java写的开源框架,所以必须建立在Java的运行环境上。本篇采用的是JDK1.8 ,其实只要1…
hadoop平台搭建入门
学习hadoop平台搭建也有一段时间了,期间也遇到很多问题,为了解决这些问题查了很多资料,浪费不少时间,今天写下这篇博客,为了帮助初学者,更快解决遇到的问题。 首先,我们要搭建的是完全分布式,mysql作为hive元数据…
大数据|Hadoop部署安装和启动以及目录结构介绍(三)
一、hadoop的部署安装 1、安装JDK:下载jdk,解压,配置环境变量 2、安装hadoop:下载安装包,解压 利用tar -zxvf把hadoop的jar包放到指定的目录下。 tar -zxvf /home/sof…
hadoop+hbase 伪分布式安装
基本环境及软件: 软件版本 软件包 centos-6.x JDK-1.8 jdk-8u112-linux-x64.tar.gz hadoop-2.7 hadoop-2.7.4.tar.gz hbase-1.2.6 hba…
Mac下单机版Spark配置
为了学习spark,自己在mac上搞了一个单机版的spark,一切还算顺利,安装过程如下(默认jdk已经成功安装): 1、安装Scala 下载压缩包并解压 首先我们要到官网下载安装包。官网传送门: http://www.…
第三章 spark2.0实验环境搭建
创建于:20161208 本章小目标 在上一章的基础上进行操作 安装spark2.0测试环境 构建至少3个节点的spark集群 基于yarn模式构建集群 软件版本 java: jdk-8u91-linux-x64.tar…
线上RDS逻辑备份采用mysqldump恢复到本地(自用)
恢复过程 从RDS上下载逻辑备份文件(tar格式,解压后为gz格式) 解压后对sql文件中的GTID进行注释(修改过程中会生成比较大的sed临时文件,需要留足空间) 将处理过后的sql通过 mysql -u用…
慢查询日志分析工具-mysqlsla
mysqlsla是hackmysql.com推出的一款日志分析工具,整体来说,功能非常强大.数据报表,非常有利于分析慢查询的原因,包括执行频率,数据量,查询消耗等. 安装mysqlsla: 1、获取mysqlsla.zi…
presto与hadoop2 hive的整合
一、hadoop2.6.4 hive-2.1.1 presto-server-0.172.tar.gz, jdk1.8u121 二、配置 hadoop搭建分布式集群 hive搭建配置 安装 将文件上传到安装目录下/usr…
hadoop+spark 伪分布式安装
基本环境及软件: 软件版本 软件包 centos-6.x JDK-1.8 jdk-8u112-linux-x64.tar.gz scala-2.11.8 jdk-8u112-linux-x64.tar.gz hadoop…