0.正经的前言 这是一篇面向产品经理的Hive分享。目的是使受众更好的使用Hive client或其他封装Hive的产品。用HQL查询使用数据及应注意的问题和技巧。 0.1.主要内容: Hive的基本原理 Hive的使用…
分类:Hive
Mac上Hadoop, HDFS, Hive, Spark环境的安装和搭建
安装前准备 Homebrew 参见: Mac下Homebrew的安装和使用 jdk安装 java -version java version "1.8.0_181" Java(TM) SE Runtime Environ…
Hive案例03-最高气温
1. 题目要求 现有hive表temp,其中只有一个字段(temp_record string),每一行代表某一天的气温,比如,2014010114代表,2014年1月1日的气温为14度,表中数据如下: hive>…
Hive运行方式和授权
Hive运行方式 命令行方式cli:控制台模式 脚本运行方式(实际生产环境中用最多,不可人为控制,只能根据时间定时操作)🌟🌟🌟 JDBC方式:hiveserver2 web…
hive级联累计
根据访问次数统计表,得到累计访问总计 建表,load数据 t_access_times.dat A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 …
阿里云日志服务使用教程
日志服务(Log Service,简称 Log)是针对日志类数据的一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立 DT 时…
Hive SQL单元测试介绍
动机 Hive被广泛应用大数据领域。它经常用于大型数据集的临时查询和用于实现ETL类型的进程。与即席查询(Ad Hoc )不同,为ETL编写的Hive SQL具有一些不同的属性: 通常按计划重复执行。 它通常是一个庞大而…
hive自定义函数和transform
hive自定义函数(udf:user-defined function) 例1: 对于以下数据 1367775,10 1363426,10 1371235,10 1371237,10 1371236,10 1376888…
hive排序总结
HIVE 排序总结 ORDER BY Hive中的order by语句用于对查询结果集执行一个全局排序。这也就是说会有一个所有的数据都通过特格reducer进行处理的过程。对于大数据集,这个过程可能消耗太过漫长的时间来执…
Hive数据导出
Hive数据导出 导出方式 Hadoop命令方式 Get (hadoop fs -get /warehouse/test/* /home/data) text (hadoop fs -text /warehouse/te…
Hive的常用表修改操作
1.修改表名称: hive > alter table log_messages to logmsgs; 2.增加列: hive > alter table log_messages add coloumns…
terminal
Linux基础类 nohup python test.py &>nohup.out & 就是把执行python test.py中间的log文件存放到nohup.out里面了。& 代表后台执行…