2018-01-22 —（hive学习的采坑日志） 技术学习的过程中，真的是要不断的练习，再练习，然后懵逼的发现报错了，然后毫无头绪的找问题，折腾了半天，终于发现被一个空格、逗号、大小写，或者是一些微小的细节卡住了一天，…

分区/桶 Hive 分区 Hive的分区方式：由于Hive实际上是数据文件在HDFS存在的目录区分 分区字段是虚拟列 一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。 表和列名不区分大小写…

今天尝试用python访问Hive中的数据，以下是一些总结： 环境: Ubuntu 16.04 LTS Python版本：python3.6(anaconda3里面的) 需要额外按照的Linux库 依赖的包和版本：sud…

前几天初次接触Hive，需要连接hiveserver2进行一些操作，发现问题似乎并不是很简单，查了好多资料才解决了问题，特做记录。 操作之前做必要假设: 保证Hadoop(单机或者伪分布式模式)安装无误，运行Hadoop…

Hive 的数据导入： 可以使用Load命令导入，也可以使用Sqoop组件导入数据。 Hive不支持insert插入单条语句 Hive的数据查询 Hive的Java客户端和自定义函数 Hive执行load导入数据。 lo…

最近一直在研究presto接口hive和mysql的一些使用和功能，因此，我在想是否能将数据实时的写入到hive呢，刚好公司项目有需求数据实时写入到hive中，对此，我特定实现了一下。 pom文件 spark-strea…

hive 0.10.0为了执行效率考虑，简单的查询，就是只是select，不带count,sum,group by这样的，都不走map/reduce，直接读取hdfs文件进行filter过滤。 1、本地模式下，hive可…

Hive基础     Hive简介：（1）hql相对于MR程序没有复杂的代码，上手简单，会写sql的同学，hql也不在话下，区别不是很大。（2）Hive作为数据仓库使用，工作中常用的就是数据的查询(s…

Apache Hive可以帮助您快速查询和管理大型数据集。 它是Hadoop生态系统的ETL工具。 在本教程中，您将学习Hive的重要主题，如HQL查询，数据提取，分区，bucket等。 Hive简介 Hive是在Had…

前言 前两篇文章针对同一个解析Hive复杂字段的需求分别采用了Hive 自带函数（lateral view ，explode，正则表达式）和简单UDF的方式来实现，在采用简单UDF方式处理的时候发现，UDF函数返回的必须…

package org.apache.hadoop.hive.ql.ppd;//在这个包中PredicatePushDown类中有介绍，翻译不足，请见谅！ public class PredicatePushDown i…

org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient Logging initializedusing configuration in file:/…