AdMaster 如何驾驭百亿级Key实时Redis 集群 – lxw的大数据田地 http://lxw1234.com/archives/2016/09/716.htm 数据初始化之前，我们先利用【hbase将日志的i…

Hive数据去重 – 菠萝大数据梦工厂（Free World） – 博客频道 – CSDN.NET http://blog.csdn.net/jiangshouzhuang/artic…

Hive运行方式 命令行方式cli：控制台模式 脚本运行方式（实际生产环境中用最多，不可人为控制，只能根据时间定时操作）🌟🌟🌟 JDBC方式：hiveserver2 web…

最近终于有点时间了,不容易啊, 下次给大家分享点Azkaban怎么调度,脚本里面定制化参数,整个数据的流入,流出,到数据的展示一整套架构, hive的维度建模,设计原理, 包括flink,kylin等, Mllib!! …

Q：Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.…

我们使用mysql来存储hive的元数据(metadata)，这里关于元数据以及元数据的存储方式摘录了这篇文章里的部分内容 Hive安装配置指北（含Hive Metastore详解） 1.1 Metadata、Metas…

1.Hive配置属性 Hive配置属性存储于 hiveconf 命名空间中，该命名空间中的属性是可读写的。在查询语句中插入 ‘${hiveconf:变量名}’，就可以通过 hive -hiveco…

参考文档：https://segmentfault.com/a/1190000002532293 测试环境： 完全分布式安装Hadoop Hive安装（使用默认的derby存储元数据） sqoop的安装 当然还是mysq…

HiveQL 查询操作 SQL操作 •基本的Select 操作 •基于Partition的查询 •Join 基本的Select操作 SELECT [ALL | DISTINCT] select_expr, select_…

HCatalog 介绍 标签：HCatalog 对于任何一个新的工具或者知识点，当我们需要对其进行研究时，都需要有一个明确的思路。简单来说，就是要在进行研究之前先问自己几个问题：这个东西的作用是什么？在什么场景下使用？具…

单个表每天数据有50亿左右。需用二级分区优化该表。 1、最初查询 insert into table xx_parquet_v2 PARTITION(dt, uiappid) select %s from xxx whe…

hive的使用方式 1.使用CLI 直接使用hive命令即可进入客户端。 2. 使用hiveserver2服务 修改hdfs-site.xml，core-site.xml 在hdfs-site.xml加上dsf.webh…