Mapper任务： Mapper任务是一个名词，用来形容在记录读取器中用来读取每条记录和产生对应中间件键值对儿的过程，Hadoop Mapper存储输出介质数据在本地磁盘上。 2.2 LZO 压缩用法 有一个非常的概念去…
分类：Hive
在数据仓库中如何做分桶
为什么分桶 （1）获得更高的查询处理效率。桶为表加上了额外的结构，Hive在处理有些查询时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，可以使用 Map 端连接 （Map-side join）…
HIVE搭建
安装mysql centos7安装mariaDB 安装mysql教程1 安装mysql教程2 安装教程3 安装mysql教程4 hadoop版本和hive版本要兼容 2.7hdp兼容1.2hive 安装HIVE教程1 重…
Hive学习（使用mysql存储元数据）
Hive2.3版本的安装 参考文章： http://m.blog.csdn.net/lym152898/article/details/77334997 注意事项： 下载的mysql-connector-java-5.1…
hive数据类型和文件格式
文本文件数据编码 csv 逗号分割值 tsv 制表符tab分割值 hive默认是文本文件格式，默认的字段分隔符是^A，行分隔符是\n，可以指定 row format delimited fileds terminated…
hive不合规数据导出到csv文件
#!/bin/bash arrayList=("ods_12_newepay_payment" "ods_13_newepay_return" "ods_15_pos_detail" "ods_16_pos_tender…
shell 中hive传参
方式一 $ vim test.sql内容如下： use ${db_name}; select count(*) from liaisons; 运行 $ hive -d db_name='source_data' -f t…
centos7下hive链接mysql
deby 一、先查看一下安装情况： rpm -qa | grep mysql 有机器自带的话先卸载，没有的话直接安装 卸载命令：rpm -e –nodeps +要卸载的东西 安装： 在CentOS中默认安装有…
presto与hadoop2 hive的整合
一、hadoop2.6.4 hive-2.1.1 presto-server-0.172.tar.gz, jdk1.8u121 二、配置 hadoop搭建分布式集群 hive搭建配置 安装 将文件上传到安装目录下/usr…
大数据学习教程
Java教程 Java 教程Java 简介Java 开发环境配置Java 基础语法Java 对象和类Java 基本数据类型 Java变量类型Java修饰符Java运算符Java循环结构Java分支结构Java Numbe…
hadoop上搭建hive(远程模式+hive服务端、客户端)
环境 hadoop2.7.1+ubuntu 14.04 hive 2.0.1 集群环境 namenode节点：master (hive服务端) datanode 节点：slave1,slave2（hive客户端） hiv…
Hadoop安装指南
hadoop单机/伪分布式安装指导链接： hadoop集群安装 HDFS学习资源： HDFS入门 Hbase学习资源： Hbase入门 数据库汇总： mongodb安装及操作 Redis安装及操作 MySQL安装及入门 …
