前提条件 安装hadoop 1.下载hive2.3.3 2.创建hive文件夹 sudo mkdir /usr/share/hive 3.解压hive sudo tar -zxvf apache-hive-2.3.3-b…

之前在学习hive时，一直是通过命令行进行相关操作，但是，稍稍有些不方便，因此就想着学习通过Java直接访问Hive数据库，特此写了这篇文章，记录一下，方便今后查阅和复习。 一、 配置文件 <configurati…

1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reduce…

1、HQL脚本的三种执行方式： Hive –e ‘hql执行一行脚本 Hive –f ‘hql.file’执行一个脚本文件 Hive jdbc代码执行脚本 2、UDF函数（输入1条数据，输出1条数据） （1）Extend…

1 需求 Hive数据库内有4张表，每张表有1TB左右数据，按天分区，需要将这4张表的数据迁移到另一个集群。因为两个Hadoop集群都开启了kerberos身份认证，直接进行数据迁移不太好实现，所以需要先将A集群的数据下…

越来越多的人选择学习大数据，那关于大数据技术中hdfs hbase hive hbase适用场景一起来了解一下。 Hive 不想用程序语言开发MapReduce的朋友，熟悉SQL的朋友可以使用Hive开离线的进行数据处理…

Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的…

在shell脚本中设置的变量，可以通过hive -e直接使用，例如： #!/bin/bash tablename="student" #等号左右不能有空格 varsubject="Math" hive -e "SELEC…

重要tip 项目git地址 hadoop搭建部分，使用了kiwenlau的hadoop dockefile。 注意，hadoop的分布式是基于多机器的，而本github是通过docker来模拟实现的（单机多节点）。其主要…

一、Hive简介 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并 提供类SQL查询功能。 本质是将SQL转换为MapReduce程序。 Hive本身不存储数据，…

创作不易，转载请注明出处。如有疑问，请加微信wx15151889890，谢谢。 [本文链接:]https://www.jianshu.com/p/29677c052296 由于前段的数据是json格式的，因此想基于jso…

1）SecureCRT 7.3出现乱码或者删除不掉数据，免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT 2）连接不上mysql数据库 （1）导错驱动包，应该把mysql-conne…