用户可以使用 alter database命令为某个数据库的dbproperties设置键-值对属性值，来描述这个数据库的属性信息。数据库的其他元数据信息都是不可更改的，包括数据库名和数据库所在的目录位置。 hive (…

安装hive时，一定要注意hadoop和hive的版本问题 com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Column length too big…

这篇文章记载日常工作中遇到时间戳格式化的方法，因为python,mysql,hive交错使用，因为分别总结，没有多少技术含量，关键在于需要用的时候能够快速查到。 TimeStamp是什么？ TimeStamp叫做时间戳，…

作者：iseeyou 链接：https://www.zhihu.com/question/41541395/answer/114798939 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处…

利用Sqoop实现HDFS的数据与MySQL数据的互导 1. 查看帮助 [root@repo bin]# ./sqoop help Available commands: codegen Generate code to…

1. 寻找问题原因 在两个集群上遇到的问题都是catalog启不起来，产生问题的原因是不同的，但是impala-shell中给出的报错信息都是一样的，不能反映具体原因，需要以日志给出的信息为准 /usr/lib/impa…

       HDFS connector允许以各种格式将Kafka topic中的数据导出到HDFS文件中，并与Hive集成，使数据可以被HiveQL查询。   &nb…

定义：防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格模式下无法执行。 通过设置hive.mapred.mode = strict ，可以禁止三种类型的查询： 1）带有分区的表查询 在执行分区表的时候…

Pig 一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig不…

explode函数是可以将array或者map拆分成多列或者多行的函数，当传入的array是长度为0的空数组时，在查询结果集中是不会包含该数据的（类似数据库中的表A与空表做笛卡尔积，返回为空），如果要包含空数据，需要在l…

分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指…

第5章 HiveQL数据操作 在上一章中介绍了HiveQL的数据定义部分，所谓数据定义就是对数据库中表结构的增删改查；而数据操作则是关注对数据库中表的数据的操作，即如何装载数据到表中，如何从这些表中查询想要的数据。对于其…