5.一致性哈希算法

1.什么是一致性哈希

一致哈希 是一种特殊的哈希算法。在使用一致哈希算法后,哈希表槽位数(大小)的改变平均只需要对{\displaystyle K/n}《5.一致性哈希算法》 个关键字重新映射,其中 {\displaystyle K}《5.一致性哈希算法》是关键字的数量,{\displaystyle n}《5.一致性哈希算法》是槽位数量。然而在传统的哈希表中,添加或删除一个槽位的几乎需要对所有关键字进行重新映射。

2.一致性哈希应用

在使用n台缓存服务器时,一种常用的负载均衡方式是,对资源o的请求使用{\displaystyle {\mbox{hash}}(o)=o\mod n}《5.一致性哈希算法》来映射到某一台缓存服务器。当增加或减少一台缓存服务器时这种方式可能会改变所有资源对应的hash值,也就是所有的缓存都失效了,这会使得缓存服务器大量集中地向原始内容服务器更新缓存。因些需要一致哈希算法来避免这样的问题。 一致哈希尽可能使同一个资源映射到同一台缓存服务器。这种方式要求增加一台缓存服务器时,新的服务器尽量分担存储其他所有服务器的缓存资源。减少一台缓存服务器时,其他所有服务器也可以尽量分担存储它的缓存资源。 一致哈希算法的主要思想是将每个缓存服务器与一个或多个哈希值域区间关联起来,其中区间边界通过计算缓存服务器对应的哈希值来决定。(定义区间的哈希函数不一定和计算缓存服务器哈希值的函数相同,但是两个函数的返回值的范围需要匹配。)如果一个缓存服务器被移除,则它所对应的区间会被并入到邻近的区间,其他的缓存服务器不需要任何改变。

3.一致性哈希实现原理

一致哈希将每个对象映射到圆环边上的一个点,系统再将可用的节点机器映射到圆环的不同位置。查找某个对象对应的机器时,需要用一致哈希算法计算得到对象对应圆环边上位置,沿着圆环边上查找直到遇到某个节点机器,这台机器即为对象应该保存的位置。 当删除一台节点机器时,这台机器上保存的所有对象都要移动到下一台机器。添加一台机器到圆环边上某个点时,这个点的下一台机器需要将这个节点前对应的对象移动到新机器上。 更改对象在节点机器上的分布可以通过调整节点机器的位置来实现。

实现原理<转>

不同于取模直接定位(可以认为是数学中的等式)存储节点的方式,一致性hash一般采用环形Hash空间的方式,从这个环上取几个节点,就近(或者顺时针、逆时针就近)存储,这样就变成了不等式的方式,更为灵活。

环形Hash空间

一致性哈希将整个哈希值空间组织成一个虚拟的圆环,如假设某哈希函数H的值空间为0-2^32-1(即哈希值是一个32位无符号整形),整个哈希空间环如下:

《5.一致性哈希算法》

将机器和存储的内容Hash落在环形空间

首先将服务器通过使用某个Hash算法,映射到环形空间的某个位置,具体做法可以通过Hash(serverName or IP, etc),这样就会得到每个节点的位置。

例如有A、B、C、D四个存储节点,Hash后如下:

《5.一致性哈希算法》

然后将存储内容计算出Hash值,落在环形空间某一位置,接着顺时针寻找到第一个存储节点,存储完成。

例如有Object A、Object B、Object C、Object D四个数据对象,经过哈希计算后,在环空间上的位置与节点的对应关系如下:

《5.一致性哈希算法》

根据一致性哈希算法,数据A会被定为到Node A上,B被定为到Node B上,C被定为到Node C上,D被定为到Node D上。

分析

下面分析一致性哈希算法的容错性和可扩展性。现假设Node C不幸宕机,可以看到此时对象A、B、D不会受到影响,只有C对象被重定位到Node D。一般的,在一致性哈希算法中,如果一个节点不可用,则受影响的数据仅仅是此服务器到其环空间中前一个节点(即沿着逆时针方向行走遇到的第一个节点)之间数据,其它不会受到影响。

下面考虑另外一种情况,如果在系统中增加一个节点Node X,如下图所示:

《5.一致性哈希算法》

此时对象Object A、B、D不受影响,只有对象C需要重定位到新的Node X 。一般的,在一致性哈希算法中,如果增加一个节点,则受影响的数据仅仅是新节点到其环空间中前一个节点(即沿着逆时针方向行走遇到的第一个节点)之间数据,其它数据也不会受到影响。

综上所述,一致性哈希算法对于节点的增减都只需重定位环空间中的一小部分数据,具有较好的容错性和可扩展性

虚拟节点

假如,在这个分布式系统中,服务节点在环形空间分布不均衡时,容易造成数据存储倾斜问题。假如只有2个节点其环分布分布如下:

《5.一致性哈希算法》

此时必然造成大量数据集中到Node A上,而只有少量会定位到Node B上。为了解决这种数据倾斜问题,一致性哈希算法引入了虚拟节点机制,即对每一个服务节点计算多个哈希,每个计算结果位置都放置一个此服务节点,称为虚拟节点。具体做法可以在服务器ip或主机名的后面增加编号来实现。例如上面的情况,可以为每台服务器计算三个虚拟节点,于是可以分别计算 “Node A#1”、“Node A#2”、“Node A#3”、“Node B#1”、“Node B#2”、“Node B#3”的哈希值,于是形成六个虚拟节点:

《5.一致性哈希算法》

同时数据定位算法不变,只是多了一步虚拟节点到实际节点的映射,例如定位到“Node A#1”、“Node A#2”、“Node A#3”三个虚拟节点的数据均定位到Node A上。这样就解决了服务节点少时数据倾斜的问题。在实际应用中,通常将虚拟节点数设置为32甚至更大,因此即使很少的服务节点也能做到相对均匀的数据分布。

    原文作者:哈希算法
    原文地址: https://blog.csdn.net/zhongguozhichuang/article/details/72724532
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞