1.Hive内置函数: 在Hive中 系统给我们内置了很多函数 具体参考官方地址 看下官网给我们的介绍: SHOW FUNCTIONS; --查看所有内置函数 DESCRIBE FUNCTION <function…
分类:Hive
hive中order by,sort by, distribute by, cluster by作用以及用法
1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会到同一个reduce…
Hive的系统架构
CLI:命令控制台的方式。 JDbC/ODBC:通过代码的操作 mysql oracle 元数据仓库它是干啥呢么的? 存储hive表,hive字段。
Hbase 关联 hive 表
Hbase 是可以支持实时查询的非关系行数据库,采用列存储的同时也是的直接查询的数据不太直观,对此,我们可以将之关联hive表,通过HQL大到查询Hbase的目的 Hbase 关联 hive 表有两种方式(通过建立hiv…
hive中创建hbase映射表
use cmpay_credit; -- Create external table for USER in HBase drop table if exists ex_user; create external tab…
hive sql 分区
创建分区表,以日期作为分区,一般先创建分区表,再插入数据 drop table if EXISTS t1; create table t1( id int ,name string ,hobby string ,add …
Hive 查询数据导出到本地目录或 hdfs 的方法
说明 在最近的项目中,需要将最终生成的 Hive 表数据导出到文件中,具体实现请参见下方 SQL。 查询结果导入到 hdfs 文件 一般方式: insert overwrite directory '/hive/test…
Hive窗口函数05-GROUPING SETS、GROUPING__ID、CUBE、ROLLUP
Hive窗口函数GROUPING SETS、GROUPING__ID、CUBE、ROLLUP入门 1. 数据说明 现有 hive 表 cookie5, 内容如下: hive> select * from cooki…
Apache drill
跟着官方文档看,外加查到的一些资料 官方文档戳这里,中文版戳这里(安装方法完全可以按照tutorial,很详细,开启服务记住这一句就ok:bin/drill-embedded) FYI:本文和大部分介绍drill的文字一…
Hive之行转列/列转行
1、行转列 场景:在hive表中,一个用户会有多个人群标签,List格式(逗号分隔如要转成List),有时我们需要统计一个人群标签下有少用户,这是就需要使用行转列了 例如,user_crowd_info有如下数据 vis…
Hive严格模式
定义:防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格模式下无法执行。 通过设置hive.mapred.mode = strict ,可以禁止三种类型的查询: 1)带有分区的表查询 在执行分区表的时候…
Hive-Transform-Python:快捷的Map/Reduce
Hive 提供了 Transform 这一关键字,使用 python 脚本处理hive 的数据,实现 Map/Reduce 的效果,在一些场景下,相比直接编写 Hadoop MR 要方便不少。 简介 首先简要介绍一下 h…