环境部署 HiveServer2的高可用-HA配置 基本常识 大数据Hive 面试以及知识点 hive实现update与delete 如何在hive的shell中使用hadoop shell 和linux的命令 hive…

hbase与hive的联系 1.hive适合处理离线的数据 2.hbase适合处理实时的数据的查询 两者合并起来使用可以达到‘＋’的效果 hive hive适合用于网络日志等数据量大的静态数据查询 HIVE是hadoop…

1、日期函数UNIX时间戳转日期函数：from_unixtime() 函数 格式 返回值 说明 from_unixtime from_unixtime(bigint unixtime[, string format]) …

前言 如何实现将数据从MySQL表中导入hive表中，我在这里使用sqoop实现了数据导入，以下是完整的脚本实例，分别是一次性导入示例和增量导入示例。 脚本示例 hive中建立外部表，实现从MySQL表中导入数据到集群h…

hive自定义函数（udf：user-defined function） 例1： 对于以下数据 1367775,10 1363426,10 1371235,10 1371237,10 1371236,10 1376888…

Hive优化 今天的主要内容——Hive优化 Fetch抓取 Hive 中对某些情况的查询可以不必使用 MapReduce 计算 本地模式 当数据量非常小的时候，通过设置本地模式在单台机器上处理所有任务，可提高效率 表的…

1、等值JOIN Hive支持通常的SQL JOIN语句，但是只支持等值连接，不支持非等值连接。 案例 根据员工表和部门表中的部门编号相等，查询员工编号、员工名称和部门编号； hive (default)> sel…

Hive没有行级别的插入，更新和删除操作，往表中插入数据的唯一方法就是使用成批载入操作. 数据是以load的方式加载到建立好的表中,数据一旦导入就不可以修改. 如果文件数据是纯文本，可以使用 STORED AS TEXT…

前言 前面已经介绍过Hive UDF有两种实现方式，其中GenericUDF的方式是比较复杂的一种，为了加深对这种方式的理解，尝试去看了下Hive原生函数的源码，记录如下。新人入门，水平不足，如有错误，欢迎指正。 源码解…

好记性不如烂笔头，何况记性不好 本文都来自hive文档, 记下来方便查询。 Database操作 create database 文法 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] d…

1. 题目要求 现有hive表temp，其中只有一个字段(temp_record string)，每一行代表某一天的气温，比如，2014010114代表，2014年1月1日的气温为14度，表中数据如下： hive>…

官方文档 已经比较详细，这里只是介绍几个简单的例子 导出到 HDFS 按列导出 sqoop import \ --connect jdbc:mysql://${host}:${port}/${db} \ --userna…