目录 集群简介 环境配置描述 搭建步骤 配置参数详解 集群简介 Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zo…

大型网站技术架构核心原理与案例分析 读书笔记 伸缩性架构 一、设计 不同功能的物理分离 纵向分离： 网站具体产品 可复用业务服务 基础技术服务 数据库 横向分离： 横向分离的粒度可以非常小，电商网站每个页面都会独立部署 …

Zookeeper是一个分布式协调框架，有不错的性能，也经过许多公司的验证，所以在很多场景都有使用。大家一般用Zookeeper来实现服务发现(类似DNS)，配置管理，分布式锁，leader选举等。在这些场景中，Zook…

一、环境部署 hadoop集群2.7.1 flume 1.7.0 spark集群：spark-2.0.1-bin-hadoop2.7.tgz 环境搭建可参考我前面几篇文章。不再赘述 三台机器：master，slave1,…

zookeeper通常以“复制模式”运行于一个计算机集群上，这个计算机集群被称为一个“集合体”。zookeeper通过复制来实现高可用性，只要集合体中半数以上的机器处于可用状态，它就可以提供服务。出于这个原因，一个集合体…

本文是hadoop的运行环境搭建实际的操作过程的记录和总结，整个文档包括如下内容： 概述 环境配置 创建用户 配置SSH hadoop安装 hadoop运行模式 单机模式 一、概述 因为hadoop是一个分布式大数据系统…

redis 集群搭建 redis集群搭建包含两个主要步骤：一是搭建若干单节点redis服务器，二是启动集群控制进程。集群模式至少需要6个节点（3master、3slave） 单节点搭建 1、下载安装包并解压：tar -z…

前言 由于我们用爬虫框架采集了一些非结构化的数据，现在要存入HBase数据库，所以在原来的Spark集群上集成HBase数据库。 Spark集群的搭建参考我的上篇文章——利用Docker搭建大数据处理集群(1)——HDF…

【前言】最近部门因为数据安全问题需要迁移线上生产环境HBase集群的网段，在集群重启后发生如下两个错误，导致HBase集群无法正常恢复：（1）HMaster节点自动失败；（2）部分Region出现offline和RIT。…

Elastic-Job学习的前置课程，先认识一下Zookeeper。 Zookeeper概述 Zookeeper可以实现集群中的分布式协调服务，也就是在集群环境中，用来协调所有机器的工作；它保证了分布式数据的一致性。 Z…

有关于kafka集群搭建的教程，网上已经太多太多。不想赘述，大家可以自行查阅。这里记录一下本人搭建集群过程中的几点问题。 本文中涉及到的 zookeeper版本：3.4.12 kafka版本：2.0.1 【问题】是否可以…

前言 相信大家对 ZooKeeper 应该不算陌生。但是你真的了解 ZooKeeper 是个什么东西吗？如果别人/面试官让你给他讲讲  ZooKeeper 是个什么东西，你能回答到什么地步呢？ 我本人曾经使用过…