Spark SQL比Hadoop Hive快，是有一定条件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎还比Spark SQL的引擎更快。 其实，关键还是在于Spark 本身快。 Sp…

UDTF 上一篇介绍了基础的UDF——UDF和GenericUDF的实现，这一篇将介绍更复杂的用户自定义表生成函数（UDTF）。用户自定义表生成函数（UDTF）接受零个或多个输入，然后产生多列或多行的输出，如explod…

１.　前言 作为数据仓库的工具，hive提供了两种ETL运行方式，分别是通过Hive 命令行和beeline客户端； 命令行方式即通过hive进入命令模式后通过执行不同的HQL命令得到对应的结果；相当于胖客户端模式，即客…

参考文档：http://www.mashibing.com/hive.html 设置环境变量，解压安装包 #tar xzvf apache-hive-2.1.1-bin.tar.gz #mv apache-hive-2.…

学习大数据不可避免地会用到Hadoop、Hive、Spark等内容，也很有必要去归类、整理和比较它们之间的异同与关系。无论是Hadoop还是Spark或是其他大数据处理工具，归根结底还是要面向大数据的四个核心问题。 1.…

背景：Hive的CREATE TABLE AS 和PySpark的.write.saveAsTable存储之后产生的数据类型并不一样，前者存储的方式是Text形式的，后者的存储形式是parquet形式。 示例 原始数据的…

/usr/hdp/2.6.1.0-129 修改本地host和集群一样 本地新建hdfs用户 切换到hdfs用户（必须），否则会报没有权限错误 hadoop distcp -D ipc.client.fallback-to…

软件环境: linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 </br> 主机配置: 一共m1, m2, m3这三部机, 每部主机的用户名都为cent…

1. 说明  搭建过Hadoop集群的小伙伴一定知道，如果不用docker，半小时配好Hadoop+Mysql+Hive（后简称Hive）肯定是胡吹，有了Docker镜像，没有说明文档，配好了也不一定会用。本文将介绍如何…

创建Hive表的同时创建HBase表，插入数据到Hive表的同时能够影响HBase表 1、emp.txt数据 https://www.jianshu.com/p/1d1ecf881a72 2、在Hive中创建表同时关联H…

1、登录到hive服务器 2、执行命令 beeline 3、然后执行 !connect jdbc:hive2://10.104.112.143:10001/dim

SerDe是Serialize/Deserilize的简称，目的是用于序列化和反序列化。 序列化作用 序列化是对象转换为字节序列的过程。 序列化是字节序列恢复为对象的过程。 对象的序列化主要有两种用途：对象的持久化，即把…