翻译: https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_filesystem_perm.html 版本: 5.14.2 Hiv…
标签:hive
hive参数优化
目录 小文件处理的参数 数据倾斜参数 分区表参数 并行执行参数 代码块中的参数值都是cdh 5.7的默认值. 查看hive配置的方式为 [root@namenode1 ~]# hive -e "set"| grep hi…
Hive环境搭建
介绍 APACHE HIVE TM Hive是运行在Hadoop之上的数据仓库,将结构化的数据文件映射为一张数据库表,提供简单类SQL查询语言,称为HQL,并将SQL语句转换成MapReduce任务运算。有利于利用SQL…
IDEA下写hive的udf(踩坑教程)
配置maven的过程网上有很多这里就不写了。 UDF 用户自定义函数(user defined function)–针对单条记录。 创建函数流程 1、自定义一个Java类 2、继承UDF类 3、重写evaluate方法 …
Kerberos之Beeline客户端参数解析
在Kerberos认证体系下,Beeline客户端连接HiveServer2的参数一般是这样的:beeline -u “jdbc:hive2://<URL>:10000/default;pri…
Hive行转列实现Pivot
前言 传统关系型数据库中,无论是Oracle(11g之后)还是SQLserver(2005之后),都自带了Pivot函数实现行转列功能,本文主要讲述在Hive中实现行转列的两种方式。 传统数据库方式 这种方式是借鉴在Or…
Hive的启动与关闭
1.关闭 可以通过ps -ef|grep hive 来看hive 的端口号,然后kill 掉相关的进程。 2.启动 nohup hive --service metastore 2>&1 & 用来启…
CDH 启动 Hive Metastore
翻译: https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hive_metastore_start.html 版本: 5.14.…
CDH HIVE 在DataGrip中的配置
注意: 文中使用的2.5.4驱动有个bug,导致DG无法获取到部分源数据。建议直接用官网最新驱动。另外跟DG开发人员取得了联系,获悉他们已经在开发原生的驱动集成,希望早日上线。 前面有篇文章讲过DataGrip的强大,作…
presto(十)——data之从hive数据拉数据
1、从hive中拉数据 1.1 <b>入口</b>:在presto指定根目录下/etc/catalog/hive.properties 1.2 <b>读取配置文件</b>c…
Hive SQL 解析及应用
SQL 已经成为各家”数据公司”必不可少的数据查询语言. Hive 在其中的地位也更是显而易见, 大多数批处理任务还是在使用 Hive SQL 开发. 从Table 级别看, 一个 Hive SQ…
Impala与Hive的比较
1. Impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具,Impala没有再使用缓慢的Hive+MapReduce批处理,而是通过使用与商用并行关系数…