概况 spark提供了一些方案来调度资源。首先，每个spark程序都在跑在若干个独立的executor集群上的（其中executor是一个jvm来run task和store data），集群管理提供了集群层面的资源分配…

zookeeper集群中需要通过FastLeader选举算法。Paxos算法 来选取头结点。由于这个特性，某个结点故障时，要耗费时间重新进行header选取，故zk在分布式CAP理论中保证的是CP(一致性和分区容错性)。…

Redis基本知识 NoSQL：是以Key-Value的形式存储数据。特点：非关系型的、分布式的、开源的、水平可拓展的。 使用场景 对数据高并发读写 对海量数据的高效率存储和访问 对数据的高可扩展性和高可用性。 Redi…

小编的上一篇文章说了如何搭建hadoop集群，我们的目的还是为了去最终搭建一个成功的Hbase集群，不说太多废话，我们直接上教程。 本文只给出如何搭建Hbase集群的方法。但是Hbase最重要的一个步骤其实是性能调优，H…

今天完成 这两天完成的不多，主要是调通搭建的那个用于测试的大数据集群，完成了将数据写入hbase的部分。在过程中遇到一个问题，就是hbase的client端可以和zookeeper建立会话，但是会话建立后就一直卡在那里没…

一.Zookeeper是什么？ Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用…

大家好，我是IT修真院北京分院第31期的学员，一枚正直纯洁善良的JAVA程序员。今天给大家分享一下，Redis集群高可用原理解析. 1.背景介绍 REDIS集群 Redis在3.0版正式引入了集群特性。Redis集群是一…

最近较忙，在做服务网格的一些东西，很久没有更新文章了，其实一直惦记着这个事，这次接着之前的话题，把zookeeper的东西补完。 整体来说ZK集群模式运行时分为两个阶段，一个是选举，一个是处理请求。 本来是要一起写的，但…

GitHub: kiwenlau/hadoop-cluster-docker 可以直接进入第三部分，快速在本机搭建一个3个节点的Hadoop集群 一. 项目简介 二. 镜像简介 三. 3节点Hadoop集群搭建步骤 四.…

1. Redis 集群 1.1 集群节点 加入集群: 节点使用cluster meet <ip> <port>命令来尝试握手, 若成功, 则加入到相应的集群中. ClusterNode 节点使用C…

zookeeper是什么？ zookeeper是一个开源的，高性能，高可靠，严格顺序性的分布式协调服务，由yahoo创建，是google chubby的开源实现。 zookeeper的目标是封装复杂易错的分布式一致性服务…

要用docker搭建集群，首先需要构造集群所需的docker镜像。构建镜像的一种方式是，利用一个已有的镜像比如简单的linux系统，运行一个容器，在容器中手动的安装集群所需要的软件并进行配置，然后commit容器到新的镜…