1、hive 创建外部表 create external table t_ods_test ( uid string COMMENT ‘用户id’, terminal string COMMENT…

Hive 2.x 需要 手动 初始化 Hive 在mysql的元数据信息 [victor@hadoop102 hive]$ bin/schematool -dbType mysql -initSchema

1、HBase Jar包拷贝到Hive/lib目录下 因为在操作Hive的同时对HBase也会产生影响，所以Hive需要持有操作HBase的Jar包，那么接下来拷贝Hive所依赖的Jar包（或者使用软连接的形式） [vi…

使用sparksql访问几个hive表join的情况时结果为空，且这个sql在hive里执行是成功的。 val sparkSession = SparkSession .builder() .config("jars",…

正则表达式(Regular Expression)是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为”元字符”）。 正则表达式使用单个字符串来描述、匹配一系列匹配某个句法…

join优化-数据倾斜 hive.optimize.skewjoin=true; 【TODO 细节】 数据倾斜时启动两个job进行join 然后再做union set hive.skewjoin.key=100000; …

因为之前平台部署的hive下的元数据是放在mysql中的，而mysql由设置了为了拉丁文，导致元数据都是乱码的。 于是开始了更新计划，办法就是用svn中的建表语句，提取出来写到元数据的mysql下，然后在mysql里进行…

hive中创建表报错问题 在hive中创建表的时候报错，需要注意的几个问题 1. HDFS文件目录路径中最好不要出现中文 2. 文件名字不要为中文 3. 表名最好不要设置为中文

本文来自网易云社区 作者：王潘安 快速解决方法 目前的hive客户端在执行desc tablexxx和show create table xxx命令的时候，字段的中文注释会出现乱码情况，如(????)。在使用　ROW F…

Hcatalog是apache开源的对于表和底层数据管理统一服务平台，目前最新release版本是0.5，不过需要Hive0.10支持，由于我们hive集群版本是0.9.0，所以只能降级使用hcatalog 0.4，由于…

先说基础知识 hive中空值分两种 （1）NULL hive中null实际在HDFS中默认存储为’\N’，通过查询显示的是’NULL’。 这时如果查询为空值的字段可通过语句…

   背景：hive中虽然有数据类型，但是int、double、string都可以在hive中存储为string类型，hive中String类型是没有长度限制的。hive中空值有三种情况，null(NULL值)、R…