hive是不支持13位的时间戳的,只支持10位的时间戳 解决方式: 1,除以1000后,转化为bigint select from_unixtime(cast(1483675004884/1000 as bigint),…
标签:hive
hive服务启动异常定位记录
环境说明 hadoop-2.7.4 hive-2.3.2 hbase-1.4.2 jdk1.8.0_161 问题现象 原先启动hiveserver2和metastore的两个服务一直运行状况良好,重启这个两个服务后都出现…
pyhs2连接超时问题
启动hiveserver2: cd $HIVE_HOME bin/hiveserver2(默认是10000端口) sudo netstat -anp|grep 10000 pyhs2连接hive,报错如下: raise …
Impala - Impala和Hive的关系
Impala – Impala和Hive的关系 转载:http://www.cnblogs.com/zlslch/p/6785207.html Impala是基于Hive的大数据实时分析查询引擎**,直接使用…
kettle 将mysql 导入到hive(借助Hadoop File Output组件)
背景 在使用kettle 的表输出组件的时候,因为服务器hive版本为0.13,不支持insert into values的语法(hive 的0.14版本才支持),所以通过表输出的方式,插入到hive会报错。 所以想了一…
Hive with Spark 实战
前言 由于我司的系统已存在稳定的Hive on Hadoop集群以及Spark集群,随着业务发展,需要打通这两者,并能方便大家在其上进行开放,于是有了本文。本文实际是关于”Hive with Spark…
Hive安装配置指南(含Hive Metastore三种方式详解)
本文介绍Hive安装配置的整个过程,包括MySQL、Hive及Metastore的安装配置,并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章,但是理解都不对,给读…
hive常用命令
hive>create database if not exists db_hive; hive>desc database extended db_hive; 如果数据库不为空,可以采用cascade命令,…
Hive 分区/分桶
分区/桶 Hive 分区 Hive的分区方式:由于Hive实际上是数据文件在HDFS存在的目录区分 分区字段是虚拟列 一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。 表和列名不区分大小写…
##[倾斜]Hive 数据倾斜总结
Hive 数据倾斜总结 – 菠萝大数据梦工厂(Free World) – 博客频道 – CSDN.NET http://blog.csdn.net/jiangshouzhuang/ar…
Hive Multiple MapJoin优化
hive中会对多个mapjoin做进一步的优化,即:将多个mapjoin合并为一个mapjoin,这样做的依据是: 一个mapjoin其实只是一个map 多个mapjoin其实是多个map,而多个map是可以合并为一个m…
HDFS清理坏块
报错 Failed with exception java.io.IOException:org.apache.hadoop.hdfs.BlockMissingException: Could not obtain bl…