kafka集群搭建 网络上的博客质量参差不齐,对新手很不友好,我参考了一些博客文档后,重新写了一遍kafka的搭建教程,包括zookeeper的搭建教程,还附上了遇到的一些常见错误的解决方案。 我使用了3台虚拟机,因为k…
分类:ZooKeeper
zookeeper的zoo.cfg配置参数详解
配置参数详解(主要是%ZOOKEEPER_HOME%/conf/zoo.cfg文件) 参数名说明 clientPort客户端连接server的端口,即对外服务端口,一般设置为2181吧。 dataDir存储快照文件sna…
ZooKeeper为kafka做负载均衡
消息生产者:producer 消息消费者:consumer 主题:即Topic,由用户定义并配置在Kafka服务端,用于建立生产者和消费者之间的订阅关系:生产者发送消息到指定Topic下,消费者从这个Topic下消费消息…
2018-01-07 什么是zookeeper
zookeeper起源 Google的三篇论文影响了很多很多人,也影响了很多很多系统。这三篇论文一直是分布式领域传阅的经典。根据MapReduce,于是我们有了Hadoop;根据GFS,于是我们有了HDFS;根据BigT…
docker-zookeeper集群搭建(伪集群)
[TOC] 说明 docker安装问题 各个版本的docker安装需要自行百度, 基本上都是采用yum install docker 或者 apt-get install docker 等方式安装 docker命令问题 …
了解ZooKeepr内部原理
本文不会讲解任何关于如何通过Zookeeper构建一个应用程序相关的知识,因为这种教程网上非常多,相信大家可以轻而易举的搭建. 本文主要是介绍ZooKeeper内部是如何运行的,通过从高层次介绍其使用的协议,以及ZooK…
zookeeper-3.4.6部署(单节点)
1、了解zookeeper Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题, 如:统一命名服务、状态同步服务、集群管理、分布式应用配…
ZooKeeper session临时节点删除流程整理
首先,ZooKeeper的session的关闭是由Leader来执行的,因为session的关闭也算是事务之一。至于Leader如何知道所有follower上面管理的session,这个请参考我的另一篇文章:ZooKee…
Zookeeper 与 Kafka (2) : ZAB 协议
1. 分布式系统 分布式系统的痛点 在任何时间点, 如何判定那些服务器是存活的(alive) 和正在进行处理动作(operating)的 ? 在面临各种错误和失败的情况下, 如何保证可靠性(reliably) ? 分布式…
使用Docker快速搭建Kafka开发环境
Docker在很多时候都可以帮助我们快速搭建想要的开发环境,免去了很多安装配置上的麻烦。在涉及到Apache Kafka的快速demo时,使用Docker Hub上提供的镜像也是一个很好的选择。 Kafka & …
zookeeper原生API
import java.util.List; import java.util.concurrent.CountDownLatch; import org.apache.zookeeper.AsyncCallback; …
zookeeper server I/O
Zookeeper的I/O模式? Zookeeper在启动过程中有一步很重要:初始化ServerCnxnFactory 其中的实现类有NettyServerCnxnFactory和NIOServerCnxnFactory…