MongoDB由C++语言编写，运行稳定，性能高 MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。 MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档…

1.环境说明 Hadoop 2.7.1 集群 Spark 2.0.1集群 Hive2.0.1 2. 内容简介 Spark SQL 基本操作 3. 参考文档 本节推荐阅读的理论文章： 3.1 Spark SQL and D…

数据去重（group by） 利用group by进行去重 fruit_table如下： shop fruit price 1 苹果 5 1 香蕉 3 1 梨子 4 2 芒果 10 2 香蕉 5 2 苹果 4 3 梨子 …

前言 传统关系型数据库中，无论是Oracle（11g之后）还是SQLserver（2005之后），都自带了Pivot函数实现行转列功能，本文主要讲述在Hive中实现行转列的两种方式。 传统数据库方式 这种方式是借鉴在Or…

软件环境: linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 </br> 主机配置: 一共m1, m2, m3这三部机, 每部主机的用户名都为cent…

0x01 今天，由于公司要进行新老数据仓库的迁移，于是顺便接手了其中一部分的工作，其实大部分迁移工作都比较简单，就是把从ods层-dw层-dm层-sh展示层中涉及到旧仓库的表替换成新仓库的表，并且检查其中字段的差异性，并…

// Hive Beeline使用 – 黄刚的技术博客 – 博客频道 – CSDN.NET http://blog.csdn.net/huanggang028/article/deta…

需要安装Hadoop，教程：Hadoop 基础搭建教程 需要了解Hive基本概念：Hive 基础知识 1. 相关依赖与版本说明 JDK8 Hadoop 2.8.5 Hive2.3.3 一般的，Hive需要一个数据库用来保…

AWS的用户应该都注意过AWS对所有流入AWS的数据都不收费，很明显AWS有意引导用户把更多的数据放到AWS云中，因为把数据放在什么地方会引发后续一系列的连锁反应。AWS与其它云或者本地 (on-premises) 数据…

这里假定已经准备好了现成的Hadoop，Hive，Hbase，Zookeeper和一个postgresql数据库。 下载安装 从 http://mirror.bit.edu.cn/apache/sqoop/ 地址下载 s…

1. hive数据分为哪两块?分别存储在哪? metadata  data  |  mysql hdfs  2. hive的建表SQL语句你们觉得里有哪些内容?…

HAProxy安装 1、在集群中选择一个节点，使用yum方式安装HAProxy服务 yum -y install haproxy 2.启动与停止HAProxy服务，并将服务添加到自启动列表 service haproxy…