alluxio1.8.0版本集成hive metastor时存在连接耗时较长的问题，更换1.7.1版本后正常，安装步骤相同 官方安装文档：https://www.alluxio.org/docs/1.8/cn/Getti…

结论 左右关联时， 1.条件不为主表条件时，放在on和where后面一样。 2.条件为主表条件时，放在on后面，结果为主表全量，放在where后面为主表条件筛选过后的全量。 左半连接时，（没有右半连接，0.5.0以上版本…

因为用mr对hdfs进行操作比较繁琐，所以才出现了hive。hive本质上进行操作的还是hdfs文件，而不是表。所以在一些地方，为了迎合hdfs文件，与sql语言有些许的不同。比如在建表方面的不同，在一些函数上的不同等。…

1、hive的分组和组内排序—语法 语法： row_number() over (partition by 字段a order by 计算项b desc ) rank rank是排序的别名 partition…

问题 变量无法替换 Exception in thread “main” azkaban.jobtype.JobTypeManagerException: azkaban.jobtype.JobT…

Hive提供了很多的函数，可以在命令行下show functions罗列所有的函数，你会发现这些函数名与mysql的很相近，绝大多数相同的，可通过describe function functionName 查看函数使用…

原文链接 hive原生未提供获取一个日期是星期几的方法，所以只有我们自己编写udf函数提供，udf就不说了，在这里给出了一个使用hive原生函数获取星期几的技巧。 pmod(datediff(#date#, ‘…

上一篇说到了 join，本篇就简单讲一讲对两个表做交、并、差运算。 并集 union 主要有两种用法： union：对前后两表求并集运算，如果有两条记录重复，则只保留一条。最后会对结果自动进行排序（小编目测根据两表当中的…

一、建表命令格式 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] …

基于HDFS 没有专门的数据存储格式 存储结构主要包括：数据库、文件、表、视图 可以直接加载文本文件（.txt文件） 创建表时，指定Hive数据的列分隔符与行分隔符 Hive的数据模型 表 Table 内部表 hive&…

1. 数据说明 (1) student表 hive> select * from student; # 学生ID 学生姓名 性别 年龄 所在系 # sid sname sex age dept 95002 Aide…

前些日子 在自己mac 和公司 mac book 安装 hive 也是感觉 吐血才安装好了一半 ，默默的心疼自己两秒钟。由于上周 公司 数据和算法小组要求 使用hive ，所以这周第一天就开始了 hive 安装 踩坑 实…