Hive Metastore有三种配置方式，分别是： Embedded Metastore Database (Derby) 内嵌模式 Local Metastore Server 本地元存储 Remote Metast…

书中构建一个数据仓库示例模型的讲解，实实在在的从 0 到 1 讲述了一个基于big data 的数据仓库原型的搭建。可以看做是一个非典型的应用场景。里面有很多的点，是可以值得拿出来好好深入思考的，举一反三 在数据建模这块…

like语句 1、sql： select * from brrps_mart_org_map where part_date =20170208 and branch03_name like ‘%北京%‘ 2…

Hive在进行数据查询时会对整个表进行扫描，当表很大时将会消耗很多时间。有时候对表中比较关心某一部分的数据进行扫描，因此Hive引入分区（Partition）的概念。 Hive的分区是在Hive的表结构下根据分区的字段设…

Hive开发UDF的步骤： 继承适当的UDF类或GenericUDF类 覆盖适当的方法并实现相应的逻辑功能 编译构建成jar包 把编译好的jar包放到适当的HDFS路径中 用jar创建临时/永久函数 检查创建的函数 不用…

1.Hive内置函数： 在Hive中 系统给我们内置了很多函数 具体参考官方地址 看下官网给我们的介绍: SHOW FUNCTIONS; --查看所有内置函数 DESCRIBE FUNCTION <function…

在hive表中查找某个字段值为float类型的数据时，float类型可能存在精度问题造成的比较不准确 http://chengjianxiaoxue.iteye.com/blog/2276272 在比较浮点数时，有一个问…

Hive SQL执行计划深度解析 – An342647823的专栏 – 博客频道 – CSDN.NET http://blog.csdn.net/an342647823/article…

马士兵之大数据hive1_腾讯视频

我无法弄清楚如何使用Spark SQL将数据插入到Hive表的静态分区中.我可以使用这样的代码写入动态分区： df.write.partitionBy("key").insertInto("my_table") 但是,我…

１.　前言 作为数据仓库的工具，hive提供了两种ETL运行方式，分别是通过Hive 命令行和beeline客户端； 命令行方式即通过hive进入命令模式后通过执行不同的HQL命令得到对应的结果；相当于胖客户端模式，即客…

参考文档：http://www.mashibing.com/hive.html 设置环境变量，解压安装包 #tar xzvf apache-hive-2.1.1-bin.tar.gz #mv apache-hive-2.…