use cmpay_credit; -- Create external table for USER in HBase drop table if exists ex_user; create external tab…
分类:Hive
06-Hive高级01
Hive高级 1)产生背景 2)部署 3)DDL 4)DML 5)JOIN 6)function:build-in & udf 7)Sqoop hive cli:hive/webui/beeline/Java A…
hive join ..on连接中 and与where的取舍
HiveQL与标准SQL的区别: 陷阱1: SELECT * FROM first_table t1 JOIN second_table t2 ON t1.id = t2.id where t1.date = ̶…
HIVE UDTF 自定义函数
HIVE UDTF 自定义函数 关键词:HIVE UDTF 开发 实例 Hive运行用户自定义函数对数据信息处理,可以试用show functions查看 hive当前支持的函数,查看凡是如下 hive> show…
Hive性能优化之ORC索引–Row Group Index vs Bloom Filter Index
Row Group Index 一个ORC文件包含一个或多个stripes(groups of row data),每个stripe中包含了每个column的min/max值的索引数据,当查询中有<,>,=的…
Spark SQL(一)入门介绍
假设有如下文本文件: id, name, age, city 1001,zhangsan,45,beijing 1002,lisi,35,shanghai 1003,wangwu,29,tianjin ……
Hive数据操作
Hive数据操作 Hive执行命令方式 cli,jdbc,hwi,beeline cli shell hive -help hive –help list,source 注:命令脚本必须在集群的节点或hive…
一起学Hive系列文章
转载:http://lxw1234.com/archives/2015/07/365.htm 这一系列都是转载,做个学习记录 [一起学Hive]之一–Hive概述,Hive是什么 [一起学Hive]之二–Hive函数大全…
Hive- UDF&GenericUDF
hive udf简介 在Hive中,用户可以自定义一些函数,用于扩展HiveQL的功能,而这类函数叫做UDF(用户自定义函数)。UDF分为两大类:UDAF(用户自定义聚合函数)和UDTF(用户自定义表生成函数)。在介绍U…
Spark:DataFrame生成HFile 批量导入Hbase
批量加载-Bulk Load 在工作过程中有个需求,需要将DataFrame的数据保存进Hbase,并且在Spark集群并没有安装Hbase,此时对于常规的使用put将DataFrame加载进Hbase的方式不在适用,一…
hive sql练习
参考 -- 创建学生表,学号,姓名,性别,年龄,班级 DROP TABLE student; CREATE TEMPORARY TABLE student( Sno int, Sname VARCHAR(20), Sex…
基于YARN的HADOOP分布式集群安装
HADOOP分布式集群安装 前提 SSH,安装教程 JAVA,安装教程 准备工作 修改HOSTS,在文件尾加入IP及对应的HOSTNAME,详细教程 vim /etc/hosts 192.168.2.8 master-8…