创建Hive表的同时创建HBase表,插入数据到Hive表的同时能够影响HBase表 1、emp.txt数据 https://www.jianshu.com/p/1d1ecf881a72 2、在Hive中创建表同时关联H…
标签:hive
hive执行sql:stage-1 map = 0 reduce = 0
问题描述: 在hive shell中执行sql,如 insert into person_base1 select * from person_base; 运行日志中一直显示如下信息 hive> insert in…
Hive架构优点及使用场景
先阅读初识hive Hive在大数据生态环境中的位置 Hive架构图 client 三种访问方式 1、CLI(hive shell)、command line interface(命令行接口) 2、JDBC/ODBC(j…
当SparkSQL遇上Alluxio
前言 Alluxio官方文档介绍了Hive的配置方法,也介绍了Spark的配置方法,重点介绍了Spark程序如何访问Alluxio上的文件,但是没有介绍如何配置SparkSQL(这里指纯SQL方式,不是DataFrame…
hive动态分区等脚本
最近终于有点时间了,不容易啊, 下次给大家分享点Azkaban怎么调度,脚本里面定制化参数,整个数据的流入,流出,到数据的展示一整套架构, hive的维度建模,设计原理, 包括flink,kylin等, Mllib!! …
Hive- UDF&GenericUDF
hive udf简介 在Hive中,用户可以自定义一些函数,用于扩展HiveQL的功能,而这类函数叫做UDF(用户自定义函数)。UDF分为两大类:UDAF(用户自定义聚合函数)和UDTF(用户自定义表生成函数)。在介绍U…
Advanced hive
hdfs CREATE TABLE t1(name string,id int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' '; LOAD DATA LOCAL INPATH…
使用 Pandas 操作 Hive | MangoDB | Redis | HBase|Memcache |HDFS |Spark
image.png 使用 python 操作 hadoop 好像只有 少量的功能,使用python 操作 hive 其实还有一个hiveserver 的一个包,不过 看这个 pyhive 应该是比较好用的。 安装依赖 p…
实时导入本地日志文件到impala中
hadoop上的数据仓库很多,这里为什么说一定要导入到impala中呢?因为impala和hive之间并不是完全互通的,hive支持的某些压缩格式impala并不支持。因为这个问题,笔者还踩了个坑。一个很简单的任务花了1…
Hive查询HBase调用MapReduce性能优化
折腾了很久,被领导天天督促&指点,算是有个最基本的性能优化。 1. 背景介绍: Hive使用hive-hbase-handler建立HBase external table。在hive查询包含count(*)、j…
个人总结-Hive
1、HQL脚本的三种执行方式: Hive –e ‘hql执行一行脚本 Hive –f ‘hql.file’执行一个脚本文件 Hive jdbc代码执行脚本 2、UDF函数(输入1条数据,输出1条数据) (1)Extend…
Hive学习-高级版三(元数据梳理)
hive的数据分为两部分,一部分是真实的数据文件,存放在hdfs上,另一份是真实数据的元数据(即数据的描述信息,比如说存储位置、时间、大小之类的),一般存放在mysql中,存放的配置可以修改hive-site.xml来完…