时间：2017-08-16 19:36:53   来源：CSDN Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系…

一、创建基础表 > show create table dim_fei001; OK CREATE EXTERNAL TABLE `dim_fei001`( `zd_001` double COMMENT '字段一…

1、语法概述 1）建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], .…

Hive 分桶 分桶 对于每一个表或者分区，Hive可以进一步组织成桶，也就是更为细粒度的数据范围划分 Hive是针对某一列进行分桶 Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中 好处 …

简介 avro是一种固定格式（schema）,以文件为单位的 数据序列化系统（类似加密解密） 支持二进制序列化方式，所以可以快速处理大量数据 支持对数据流，javabean等 序列化 反序列化操作，传输等效率高 就是由一…

前提：搭建Hadoop-HA + ZooKeeper + Yarn环境 node01 node02 node03 node04 NameNode01 NameNode02 NameNode03 DataNode01 Da…

Hive高级查询 查询操作 group by、Order by 、Join 、distribute by 、Sort by 、cluster by 、Union all 底层的实现 Mapreducer 几个简单的聚合操…

代码1：查询重复记录 SELECT * FROM tb a WHERE (a.account) IN (SELECT account FROM tb GROUP BY account HAVING COUNT(*) &g…

火山日常啰嗦 学习了一些大数据的相关框架后，发现应用层的东西确实不难，真正难的都是底层原理，所以我查看了很多资料，借鉴了前人的方法再加上自己的理解，写下了这篇文章。 数据倾斜的直白概念： 数据倾斜就是数据的分布不平衡，某…

高级的虹吸壶冲煮咖啡教程 想了解更多视频，欢迎关注新浪微博@做个吃的_吃星妄想~ 高级的虹吸壶冲煮咖啡教程

需求 有2张大的mysql表，量级分别是1亿和4.5亿（太大了，DBA的同学正在考虑分表），而且数据是增量的，需要写spark任务做处理，直接读取mysql有点吃力，想通过sqoop定时增量直接导入hive，然后spar…

通常我们将spark任务编写后打包成jar包，使用spark-submit进行提交，因为spark是分布式任务，如果运行机器上没有对应的依赖jar文件就会报ClassNotFound的错误。  下面有二个解决方…