先说一下自己的理解：下面的col1其实是一个可以根据这个字段查出整行数据的(类似于主键)，如果不能确定的话那就将所有字段都写上 如何快速确定一张表内是否有重复数据： select count(col1), count(d…

文件格式 在HIVE中，常见的文件存储格式有 TextFile Parquet ORC Sequence RC AVRO 建表语句 这里我们根据不同的文件格式，新建测试表。 --textfile文件格式 CREATE T…

数据库建立索引怎么利用索引查询？ 精选 1.合理使用索引 索引是数据库中重要的数据结构，它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。 索引的使用要恰到好处，其…

hive相关基础 1、进入到hive命令下；(linux下直接输入hive即可) hive 2、查看工作分区下的hive表都有哪些？ show tables; 3、查看hive中某个具体表，例如要查看’abc…

大表关联小表，把小表自动加载到内存中，需要确认以下配置为true，相当于写了一个mapjoin set hive.auto.convert.join = true; hive.mapjoin.smalltable.fil…

Hive分析窗口函数(五) GROUPING SETS,GROUPING__ID,CUBE,ROLLUP – u013214671的博客 – 博客频道 – CSDN.NET http:…

Hive 基础之：分区、桶、Sort Merge Bucket Join – 远方的专栏 – 博客频道 – CSDN.NET http://blog.csdn.net/u0147747…

概览 关于CDH5的离线安装，网络上充斥着各种安装教程，但漏洞百出，之后的很多问题都和安装过程错误有关。我也深受其害，最后还是使用官方安装教程来进行安装： 为方便起见，全程以root用户进行。 因硬件限制，这里以伪集群模…

因为有用到 Presto，就按照官方文档学一学，顺便记录一下，预计两个星期吧。 目录 1. 简单介绍与部署 2. 使用命令行接口进行查询 3. 配置Hive连接器以查询Hive数据

只需要在namenode节点中安装即可 配置环境变量 将如下内容添加到 ~/.bash_profile中 export HIVE_HOME=/root/software/apache-hive-1.2.1-bin exp…

一、工具准备 1. jdk10 2. scala 3. anaconda3 4. spark-2.3.1-bin-hadoop2.7 5. hadoop-2.8.3 6. winutils 7. pycharm 二、安装…

背景 业务系统库数据迁移到Hadoop平台做分析要涉及到所有迁入的表结构要类型和表结构语句的更改，部分表字段可能两三百个字段，对程序员来说捉行手动修改简直始终煎熬。。。 表结构 mysql `id` int(10) un…