zk常用命令行操作 bin目录下 zkCli.sh命令打开zk的客户端进行命令行后台 ls与ls2命令 状态信息[ stat 与 get命令 ] zk特性 – watcher机制 针对每个节点的操作，都会有一…

此文已由作者温正湖授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 Primary（主）是MongoDB复制集中的最重要的角色，是能够接受客户端/Driver写请求的节点，（读请求也是默认路由到P…

身份认证服务机制使用 Memcached 来缓存令牌。Memcached 服务通常在控制器节点上运行。对于生产部署，我们建议启用防火墙、身份验证和加密的组合来保护它。 安装和配置组件 1、安装包： apt install…

【前言】最近部门因为数据安全问题需要迁移线上生产环境HBase集群的网段，在集群重启后发生如下两个错误，导致HBase集群无法正常恢复：（1）HMaster节点自动失败；（2）部分Region出现offline和RIT。…

1、zookeeper是什么框架？ zookeeper是一个开源的分布式协调服务框架。 2、有哪些应用场景？ 应用场景：分布式通知/协调、负载均衡、配置中心、分布式锁、分布式队列等。 3、使用什么协议？ 使用ZAB协议。…

通常，当把一个函数传递给Spark的操作时（例如map或reduce操作），函数可以使用在驱动程序中定义的变量，但是函数在不同的节点上执行，每个节点都需要对函数（闭包）内的每个变量进行拷贝发送，而在远程机器上变量的更新不…

本文同步于个人Github博客：https://github.com/johnnian/Blog/issues/8，欢迎留言。 安装软件包：mongodb-linux-x86_64-3.4.1.tgz 安装流程思路 目前…

环境信息 操作系统系统:Centos7 JDK:1.7 CDH 版本:5.8.4 利用Cloudera Manager 迁移zookeeper 进入zookeeper instance界面 停止一台老的zookeeper…

我们以数据源自kafka为例，进行spark作业调优的分析 1 资源评估 网络能力： 评估下使用的节点数、网络带宽，与所要处理的数据量，在网络能力上是否匹配。节点直接的网络是否符合预期。 计算能力： 估算下所拥有的节点的…

目的 通过共享存储，实现分布式系统的任务协调。 以共享存储，data tree为基础，开发者可以在zookeeper上实现分布式锁，主从架构等。 保障AP 基本模型 存储 类文件系统，data tree。data tre…

Redis基本知识 NoSQL：是以Key-Value的形式存储数据。特点：非关系型的、分布式的、开源的、水平可拓展的。 使用场景 对数据高并发读写 对海量数据的高效率存储和访问 对数据的高可扩展性和高可用性。 Redi…

参考： 《从Paxos到Zookeeper分布式一致性原理与实践》 –倪超 注：学习Zookeeper强烈建议读这本书。 Zookeeper 特性 Zookeeper大致有下面几个特性，对Zookeeper的…