哈希算法:你会如何存储重要数据

Posted 2021-04-30 一瓢丶

22 | 哈希算法（下）：哈希算法在分布式系统中有哪些应用？

王争 2018-11-09

什么是哈希算法

将任意长度的二进制值映射为固定长度的二进制串,这个映射的规则就是哈希算法,而通过原始数据映射之后得到的二进制值串就是哈希值.

hash算法要求:

• 从哈希值不能反向推导出原始数据  (映射是单向的)

• 输入数据通过算法得到HASH值

• 散列冲突的概率要小

• 哈希算法执行效率尽量高效

HASH算法的应用

• 安全加密

• 唯一标识

• 数据校验

• 散列函数

• 负载均衡

• 数据分片

• 分布式存储

应用一: 安全加密

   加密算法 MD5 (MD5消息摘要算法) 和  SHA(安全散列算法)   DES(数据加密标准)  AES(高级加密标准)

   加密的目的就是防止原始数据泄漏,所以很难通过哈希值反向推导原始数据

   越复杂,越安全,相应的计算时间也就越长.

 

应用二:唯一标识

 

如果在海量的图库中,搜索一张图是否存在

我们给每一个图片取一个唯一标识,或者说信息摘要,从图片中取部分字节,通过哈希,用它作为唯一标识.

 

应用三:数据校检

网络下载数据时,将一个大文件分成多个文件,分别对各文件进行hash计算,接受后进行对比.

 

 

应用四:负载均衡

负载均衡算法有很多,比如轮询,随机,加权轮询等,如何实现会话沾滞的负载均衡算法?

我们需要在一个客户端上,在一次绘画中所有请求都路由在一个服务器上.

  如果客户端很多,映射表可能会很大,比较浪费内存空间

应用六:数据分片

1. 如何统计"搜索关键词"出现的次数

       我们有1T的日志文件,记录了用户搜索关键字,我们想要快速统计出每个关键词被搜索的次数?

        难点:  第一个搜索日志很大,没法放到一台及其的内存中

                   第二个难点是,如果只用一台机器来处理这么巨大的数据,处理时间会很长

     

1.     如何统计"搜索关键词"出现的次数

2.  针对两个难点:我们对数据切片,采用多台机器处理的方法,来提高处理速度.     为了提高处理的速度，我们用 n 台机器并行处理。我们从搜索记录的日志文件中，依次读出每个搜索关键词，并且通过哈希函数计算哈希值，然后再跟 n 取模，最终得到的值，就是应该被分配到的机器编号。

这样，哈希值相同的搜索关键词就被分配到了同一个机器上。也就是说，同一个搜索关键词会被分配到同一个机器上。每个机器会分别计算关键词出现的次数，最后合并起来就是最终的结果。    

      2.如何快速判断图片是否在图库中

            假设现在我们的图库中有 1 亿张图片，很显然，在单台机器上构建散列表是行不通的。因为单台机器的内存有限，而 1 亿张图片构建散列表显然远远超过了单台机器的内存上限

    我们同样可以对数据进行分片，然后采用多机处理。我们准备 n 台机器，让每台机器只维护某一部分图片对应的散列表。我们每次从图库中读取一个图片，计算唯一标识，然后与机器个数 n 求余取模，得到的值就对应要分配的机器编号，然后将这个图片的唯一标识和图片路径发往对应的机器构建散列表。当我们要判断一个图片是否在图库中的时候，我们通过同样的哈希算法，计算这个图片的唯一标识，然后与机器个数 n 求余取模。假设得到的值是 k，那就去编号 k 的机器构建的散列表中查找。

应用七:分布式存储

现在互联网那面对的都是海量的数据,和用户,为了提高数据的读取,写入能力,一般都采用分布式的方法存储数据,

比如分布式缓存,所以一个缓存机器不够,我们就需要将数据分布在多台机器,

所有的数据都要重新计算哈希值,然后搬移到正确上,这样就想相当于,缓存中的数据一下子就都失效了.

 一致性哈希

 

假设我们有k个机器,数据的哈希值的范围是[0,MAX],我们将整个范围划分成m个小区间(m远大于k)

每个机器负责m/k个小区间.当有新机器加入的时候,我们就将某几个小区的数据,从原来的机器中搬移到新的机器中.

这样,即不用全部重新哈希,搬移数据.