散列函数的应用及其安全性

Posted 2020-11-03 听风赏雨

散列函数的应用及其安全性

一、散列函数的具体应用

    Hash（散列函数），一般翻译做"散列"，也有直接音译为"哈希"的，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，而不可能从散列值来唯一的确定输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。

    由于散列函数的应用的多样性，它们经常是专为某一应用而设计的。例如，加密散列函数假设存在一个要找到具有相同散列值的原始输入的敌人，一个设计优秀的加密散列函数是一个“单向”操作：对于给定的散列值，没有实用的方法可以计算出一个原始输入，也就是说很难伪造。为加密散列为目的设计的函数，如MD5，被广泛的用作检验散列函数，这样软件下载的时候，就会对照验证代码之后才下载正确的文件部分，此代码有可能因为环境因素的变化，如机器配置或者IP地址的改变而有变动，以保证源文件的安全性。错误监测和修复函数主要用于辨别数据被随机的过程所扰乱的事例，当散列函数被用于校验和的时候，可以用相对较短的散列值来验证任意长度的数据是否被更改过。

    总体来说，散列函数的具体应用主要有以下三个方面：

1.错误校正

    使用一个散列函数可以很直观的检测出数据在传输时发生的错误。在数据的发送方，对将要发送的数据应用散列函数，并将计算的结果同原始数据一同发送。在数据的接收方，同样的散列函数被再一次应用到接收到的数据上，如果两次散列函数计算出来的结果不一致，那么就说明数据在传输的过程中某些地方有错误了。这就叫做冗余校验。

    对于错误校正，假设相似扰动的分布接近最小(a distribution of likely perturbations is assumed at least approximately)。对于一个信息串的微扰可以被分为两类，大的（不可能的）错误和小的（可能的）错误。我们对于第二类错误重新定义如下，假如给定 H(x) 和 x+s，那么只要s足够小，我们就能有效的计算出x。那样的散列函数被称作错误校正编码。这些错误校正编码有两个重要的分类：循环冗余校验和里德所罗门码。

2.语音识别

    对于像从一个已知列表中匹配一个MP3文件这样的应用，一种可能的方案是使用传统的散列函数——例如MD5，但是这种方案会对时间平移、CD读取错误、不同的音频压缩算法或者音量调整的实现机制等情况非常敏感。使用一些类似于MD5的方法有利于迅速找到那些严格相同（从音频文件的二进制数据来看）的音频文件，但是要找到全部相同（从音频文件的内容来看）的音频文件就需要使用其他更高级的算法了。

    那些并不紧随IT工业潮流的人往往能反其道而行之，对于那些微小差异足够鲁棒的散列函数确实存在。现存的绝大多数散列算法都是不够鲁棒的，但是有少数散列算法能够达到辨别从嘈杂房间里的扬声器里播放出来的音乐的鲁棒性。有一个实际的例子是Shazam服务，用户可以用电话机拨打一个特定的号码，并将电话机的话筒靠近用于播放音乐的扬声器，该项服务会分析正在播放的音乐，并将它于存储在数据库中的已知的散列值进行比较，用户就能够收到被识别的音乐的曲名。

3.信息安全

    Hash算法在信息安全方面的应用主要体现在以下的3个方面：

（1）文件校验

    我们比较熟悉的校验算法有奇偶校验和CRC校验，这2种校验并没有抗数据篡改的能力，它们一定程度上能检测并纠正数据传输中的信道误码，但却不能防止对数据的恶意破坏。

MD5 Hash算法的"数字指纹"特性，使它成为目前应用最广泛的一种文件完整性校验和(Checksum)算法，不少Unix系统有提供计算md5 checksum的命令。

（2）数字签名

    Hash 算法也是现代密码体系中的一个重要组成部分。由于非对称算法的运算速度较慢，所以在数字签名协议中，单向散列函数扮演了一个重要的角色。对 Hash 值，又称"数字摘要"进行数字签名，在统计上可以认为与对文件本身进行数字签名是等效的。而且这样的协议还有其他的优点。

（3）鉴权协议

    如下的鉴权协议又被称作挑战--认证模式：在传输信道是可被侦听，但不可被篡改的情况下，这是一种简单而安全的方法。

 

二、散列函数的安全性以及目前安全散列函数的发展

1.散列函数的安全性

    单向散列函数或者安全散列函数的重要性，不仅在于消息认证(消息摘要，数据指纹)，还有数字签名（加强版的消息认证）和验证数据的完整性。常见的单向散列函数有MD5和SHA。

    散列函数的目的是文件、消息或者其他数据块产生“指纹”。为满足在消息认证中的应用，散列函数H必须具有下列性质：

（1）H可适用于任意长度的数据块。

（2）H能够生成固定长度的输出。

（3）对于任意给定的x，计算H(x)相对容易，并且可以用软/硬件实现。

（4）对于任意给定的h，找到满足H(x)=h的x在计算上不可行，满足这一特性的散列函数称之为：具备抗原像攻击性。

（5）对于任意给定的数据块x，找到满足H(y)=H(x)的y ≠ x在计算上是不可行；满足这一特性的散列函数称之为：抗弱碰撞性。

（6）找到满足H(x) = H(y)的任意一对(x,y)在计算上是不可行的。满足这一特性的散列函数称之为：抗碰撞性。

    前三个性质是使用散列函数进行消息认证的实际可行要求。第四个属性，抗原像攻击，防止攻击者能够回复秘密值。抗弱碰撞性保证了对于给定的消息，不可能找到具有相同散列值的可替换消息。满足上面前5个性质的散列函数称之为弱散列函数。如果还满足第6个性质则称之为强散列函数。

    Hash函数的安全性很大程度上取决于抗强碰撞的能力。目前已有的对Hash函数攻击的方法包括生日攻击、彩虹表攻击、差分攻击等。Hash函数的算法结构特点和Hash值的长度是决定函数碰撞性的而主要因素，Hash值越长，抵御越强。SHA-256有256比特Hash值，MD5和SHA-1分别有128和160比特的Hash值。

    到目前为止，有两种方法可以攻击安全散列函数：密码分析法和暴力攻击法。散列函数抵抗暴力攻击的强度完全依赖于算法生成的散列码长度。

    Van Oorschot和Wiener曾经提出，花费1000万美元涉及一个被专门用来搜索MD5算法碰撞的机器，则平均24天内就可以找到一个碰撞。2004年8月中国密码学家王小云教授等首次公布了提出一种寻找MD5碰撞的新方法。目前利用该方法用普通微机几分钟内即可找到MD5的碰撞。MD5已经呗彻底攻破。

2.目前安全散列函数的发展

    1997年Bob Jenkins 在Dr. Dobbs 的期刊上发表了一篇关于hash函数的文章：A hash function for hash Table lookup。在这篇文章中，Bob广泛的归类了已存的hash函数，并提出了自己的”lookup2”。随后他又在2006年发布了lookup3 ，可以说这是第一个“现代”的hash函数，从某种意义上来说它不仅快速（0.5bytyes/cycle according to Bob）而且没有任何严重缺陷。

    2008年Austin Appleby 发表了一个新的称作“MurmurHash”的hash 函数。在它最近的版本中其hash速度大约是lookup3的2倍（大约1byte/cycle），并且同时有32-bit和64-bit两个版本。32-bit版的只使用32-bit公式并输出32-bit的hash，64-bit版的使用64-bit公式产出64-bit的hash。跟据Austin的分析该函数拥有优秀的特性，然而Bob Jenkins在DR.Dobbs上发表的扩充文章说：我能看到[MurmurHash]比我的lookup3差，但是我不知道差多少，我没有测试。由于优秀的速度和统计特性，MurmurHash很快就变的流行起来。

    2011年两个基于MurmurHash的改进函数发表，这两个函数都是在指令级别的并行性上对MurmurHash进行了加强。Google发布了CityHash（written by Geoff Pike and Jyrki Alakuijala），Bob Jenkins 发布了自己的SpookyHash。两个函数都是原MurmurHash速度的2x，但两个函数都使用了64-bit的公式，而没有32-bit的版本。CityHash依赖于CRC32指令集，该指令出现在SSE 4.2（Intel Nehalem及以后）。SpookyHash产生128位的输出，而CityHash有64-bit,128-bit和256-bit可选。

    MD5 和 SHA1 是目前应用最广泛的Hash算法，而它们都是以 MD4 为基础设计的。MD4(RFC 1320）是 MIT 的Ronald L. Rivest在 1990 年设计的，MD 是 Message Digest 的缩写。它适用在32位字长的处理器上用高速软件实现--它是基于 32位操作数的位操作来实现的。

    MD5(RFC 1321）是 Rivest 于1991年对MD4的改进版本。它对输入仍以512位分组，其输出是4个32位字的级联，与 MD4 相同。MD5比MD4来得复杂，并且速度较之要慢一点，但更安全，在抗分析和抗差分方面表现更好。

    SHA1是由NIST NSA设计为同DSA一起使用的，它对长度小于2^64位的输入，产生长度为160bit的散列值，因此抗穷举（brute-force）性更好。SHA-1 设计时基于和MD4相同原理，并且模仿了该算法。

 

三、使用md5算法来验证软件完整性时可能出现的问题

    MD5即Message-Digest Algorithm 5（信息-摘要算法5），用于确保信息传输完整一致。是计算机广泛使用的杂凑算法之一（又译摘要算法、哈希算法），主流编程语言普遍已有MD5实现。将数据（如汉字）运算为另一固定长度值，是杂凑算法的基础原理，MD5的前身有MD2、MD3和MD4。

    MD5算法的作用是让大容量信息在用数字签名软件签署私人密钥前被"压缩"成一种保密的格式（就是把一个任意长度的字节串变换成一定长的十六进制数字串）。除了MD5以外，其中比较有名的还有sha-1、RIPEMD以及Haval等。

    MD5算法具有以下特点：

1、压缩性：任意长度的数据，算出的MD5值长度都是固定的。

2、容易计算：从原数据计算出MD5值很容易。

3、抗修改性：对原数据进行任何改动，哪怕只修改1个字节，所得到的MD5值都有很大区别。

4、强抗碰撞：已知原数据和其MD5值，想找到一个具有相同MD5值的数据（即伪造数据）是非常困难的。

  MD5算法可以被用来验证文件的完整性和是否被篡改，通过对任意长度的信息逐位进行计算，产生一个二进制长度为128位（十六进制长度就是32位）的 hash 值, 不同的文件产生相同的hash的可能性是非常小的。MD5在实际应用中通常有两种用法，一种是计算一个字符串的MD5值，常用于密码相关的操作；另一种是用于计算一个文件的MD5值，一般用于网络传输中验证文件是否出错。具体应用体现在以下三个方面：

1、一致性验证
   MD5的典型应用是对一段文本信息产生信息摘要，以防止被篡改。常常在某些软件下载站点的某软件信息中看到其MD5值，它的作用就在于我们可以在下载该软件后，对下载回来的文件用专门的软件（如Windows MD5 Check等）做一次MD5校验，以确保我们获得的文件与该站点提供的文件为同一文件。
2、数字证书
   如果有一个第三方的认证机构，用MD5还可以防止文件作者的“抵赖”，这就是所谓的数字签名应用。
3、安全访问认证
   在Unix系统中用户的密码是以MD5（或其它类似的算法）经Hash运算后存储在文件系统中。当用户登录的时候，系统把用户输入的密码进行MD5 Hash运算，然后再去和保存在文件系统中的MD5值进行比较，进而确定输入的密码是否正确。通过这样的步骤，系统在并不知道用户密码的明码的情况下就可以确定用户登录系统的合法性。

   但是，在使用MD5算法来验证完整性时，由于MD5算法是公开的，所有人都可以获得和使用MD5算法，那就意味着别人可以利用相同的算法针对你的加密值不断地进行计算。如果不对MD5算法进行一些处理，那么当我们将自己的重要接口暴露在互联网上的时候，比如登陆接口，攻击者就可以同样利用MD5加密算法对我们进行撞库攻击和关键信息比对。为了避免这个问题，我们可以给算法增加一个偏移量，比如在原始数据上拼接一段数据在进行加密；或者根据原始数据分布范围进行转换，用得到的新值进行MD5计算，这样子被破解的风险就会大大降低。