Hive 数据倾斜总结 – 菠萝大数据梦工厂(Free World) – 博客频道 – CSDN.NET http://blog.csdn.net/jiangshouzhuang/ar…
标签:hive
Hive安装报错汇总
今天安装hive,按着官方文档操作,但是并没有能够成功,把碰到的问题记录下 1)执行$HIVE_HOME/bin/hive 报错:## Caused by: MetaException(message:Version i…
Ubuntu安装Hive,并使用Mysql作为元数据库
版本信息: Ubuntu:16.04 JDK:1.8.0_144 Hadoop:2.7.4 Hive:2.1.1 MySQL:5.7.22 今天捣鼓了一下午关于Hadoop集群安装Hive,遇到了一些问题,在此记录下来。…
Spark版本升级二三事
起因:部门准备将数据仓库开发工具从Hive SQL大规模迁移至Spark SQL。此前集群已经自带了Spark-1.5.2,系HDP-2.3.4自带的Spark组件,现在需要将之升级到目前的最新版本(2.2.1)。作为一…
Hive配置元数据库为PostgreSQL
前一篇文章说了怎样搭建 Hive 环境,但是 Hive 使用的是默认 Derby 数据库作为元数据库,今天说说怎样把 Hive 的元数据库从默认的 Derby 改成 PostgreSQL 数据库。 安装 PostgreS…
hue连接HDP的hive报HiveSQLException: Invalid OperationHandle: OperationHandle [opType=EXECUTE_STATEMEN...
hive版本:1.2.1000.2.6.5.0-292 hue版本:4.2.0 报错信息: HiveSQLException: Invalid OperationHandle: OperationHandle [opTy…
如何在Hive构造Dual表
dual表的概念来自oracle,数据库建立时即与数据字典一起初始化,该表只有一个varchar2类型名为dummy的字段,表数据只有一行“X”,用来查询一些系统信息,如select sysdate from dual;…
解析Hive复杂字段2--UDF
前言 上一篇文章说道工作中遇到一个需要解析Hive的复杂字段提取HotelId的多个结果的问题,第一时间采用了Hive sql自带的lateral view,explode及正则表达式处理成功,现在尝试采用hive ud…
HIVE注解乱码问题解决
在HIVE中建表的时候,有时候难免要表中文注释,然而如果不经过配置,会导致desc某个表名的时候,直接以?的方式返回。 因此也来解决一下HIVE中文注释乱码的问题。由于HIVE的元数据是存在于MYSQL上的,因此需要在M…
Hive Multiple MapJoin优化
hive中会对多个mapjoin做进一步的优化,即:将多个mapjoin合并为一个mapjoin,这样做的依据是: 一个mapjoin其实只是一个map 多个mapjoin其实是多个map,而多个map是可以合并为一个m…
hive导出数据
地址[https://blog.csdn.net/xiao_jun_0820/article/details/32328755] 谈到了Hive中几种数据的导入方式,不同的数据导入方式用途不一样。今天我们再谈谈Hive中…
Hive Shell 基本操作
Hive 命令行 hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e query-string>] [-S] -i 从文…