一致性哈希算法

Posted a154627

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了一致性哈希算法相关的知识,希望对你有一定的参考价值。

1.简介

一致性哈希简称DHT,是麻省理工学院提出的一种算法,目前主要应用于分布式缓存当中。

它的储存步骤如下:

1.将全量的缓存空间当做一个环形存储结构,环形空间总共分成2^32个缓存区。

技术分享图片

2.将各个服务器进行哈希,具体可以选择服务器的ip或主机名作为关键字进行哈希,这样每台机器就能确定其在哈希环上的位置。

技术分享图片

3.求出存储数据的键的哈希值,并映射到相应的位置上,从数据映射到的位置开始顺时针查找,将数据保存到查找到的第一个服务器上。

技术分享图片

2.添加、删除服务器

当新增一台服务器时,只有小部分数据需要迁移:

技术分享图片

当删除一台服务器时,仍然只有小部分数据需要迁移

 技术分享图片

3.虚拟节点

 一致性哈希算法在服务节点太少时,容易因为节点分部不均匀而造成数据倾斜问题。例如我们的系统中有两台服务器,其环分布如下:

技术分享图片

 此时必然造成大量数据集中到Server 2上,而只有极少量会定位到Server 1上。为了解决这种数据倾斜问题,一致性哈希算法引入了虚拟节点机制。

对每一个服务节点计算多个哈希,每个计算结果位置都放置一个此服务节点,称为虚拟节点。具体做法可以在服务器ip或主机名的后面增加编号来实现。

技术分享图片

由于虚拟节点数量较多,缓存key与虚拟节点的映射关系也变得相对均衡了。

至于虚拟节点情况下增加和删除服务器,和上面的方法相同。

以上是关于一致性哈希算法的主要内容,如果未能解决你的问题,请参考以下文章

查找--深入理解一致性哈希算法

一致性哈希算法怎么保证数据的一致性

面试官问:一致性哈希算法是什么?怎么判定哈希算法的好坏?

一致性哈希算法(consistent hashing)(转)

理解一致性哈希算法

算法 --- 一致性哈希算法