HashMap的工作原理 HashMap底层由数组实现，是基于hashing原理，我们通过put()和get()方法存储和获取对象。 在存储时，首先我们通过key的hashCode()方法拿到key的哈希值，然后我们通过…

hadoop三大组件 mapreduce 分布式运算框架 yarn 任务调度平台 hdfs 分布式文件系统 1.HDFS数据存放策略：分块存储+副本存放。 2.数据拓扑结构（即数据备份）：默认存放3份，可以通过修改配置文…

前言 Jenkins支持分布式构建，可以配置多个slave节点，让任务跑在不同的机器上。 节点管理 所有节点机器用到的Jdk, Git等环境的路径需要统一，安装位置和Jenkins所在服务器的位置保持一致，以便于管理。 …

数据发布与订阅（配置中心） 配置中心，就是发布者将数据发布到zk节点上，供订阅者动态获取数据，实现配置信息的集中管理和动态更新。例如全局的配置信息、服务式服务框架的服务地址列表就非常适合使用。 应用中用到的一些配置信息放…

基于Zookeeper的分布式共享锁 实现原理 基于Zookeeper、Lock实现的分布共享式锁 构造初始化Zookeeper连接 在lock中尝试获取锁（tryLock） 首先创建当前连接的节点 获取所有相关节点，并…

相信写过爬虫的同学，都知道XPath的存在。博主最近在学习Scrapy的时候，就了解了一下XPath语法，这里给大家简单地介绍一下： 首先我们需要了解几个 XPath 术语。 2017/3/3 16:02:29 节点（n…

Zookeeper 协议 简介：分布式协调服务，提供诸如统一命名、配置管理等基础服务 越来越多的分布式应用面临数据一致性问题，Zookeeper的设计目标是将那些复杂且容易出错的分布式一致服务封装起来，构建一个高效可靠的…

在清空/tmp 和/home/centos/downloads/hadoop-2.7.2/logs中的数据执行start-all.sh后，主控制机只出现了SecondaryNameNode节点和ResourceManag…

熔断机制(Circuit Breaker)，也叫断路器设计模式。具体可以参见大神的文章。 如果要熔断，客户端首先需要知道服务是否可用。pigeon会定时发送心跳包，通过服务端返回的情况来确定，服务端是否可用，类似ping…

算法说明 zookeeper采用的FastLeaderElection选举算法。 背景知识 logicalclock：本机的选举轮次，没选举一次，该值加1 sid：当前机器的id，myid里配置 zxid：节点的事务id…

现象 ZooKeeper读写过程中，重新选主，然后节点重启后，数据不一致了。例如原来有节点A，B，C。 创建临时节点znode1，节点A、B、C上均可见，此时节点B是leader。 重启A、B、C三个节点后，发现临时节点…

ZooKeeper 在硬盘满后，无法再次启动，抛出Last transaction was partial. Bug见：https://issues.apache.org/jira/browse/ZOOKEEPER-16…