1 需求 Hive数据库内有4张表，每张表有1TB左右数据，按天分区，需要将这4张表的数据迁移到另一个集群。因为两个Hadoop集群都开启了kerberos身份认证，直接进行数据迁移不太好实现，所以需要先将A集群的数据下…

redis原理简单介绍 redis 3x版本已支持集群模式，集群之间的各个节点至少需要两个TCP连接：一个是为客户端服务的监听端口，一个用于集群之间各个节点的通信。集群版本并没有用到普通的hash算法来对数据进行分区存储…

循序渐进学Spark 本书前面几章分别介绍了Spark的生态系统、Spark运行模式及Spark的核心概念RDD和基本算子操作等重要基础知识。 本章重点讲解Spark的主要机制原理，因为这是Spark程序得以高效执行的核…

前言： 昨天公司要求搭建一个redis原生集群，之前一直用的codis集群(go语言 redis集群工具），想看看这两个 性能有没有差距，中间遇到 了一些坑 ，记录下来，方便以后参考并与大家共享。 第一步安装 redis…

MongoDB 运维实战总结 [TOC] 一、MongoDB 集群简介 MongoDB是一个基于分布式文件存储的数据库，其目的在于为WEB应用提供可扩展的高性能数据存储解决方案。下面将以3台机器介绍最常见的集群方案。具体…