Python计算文件的MD5SHA1SHA256值（校验文件完整性）

Posted 2022-06-03 Xavier Jiezou

引言

从网络上下载大文件时，官网一般都会提供一个MD5、SHA1或SHA256值：

很多同学可能会好奇这些东西到底是干嘛的？其实这是用来校验文件完整性的。因为从网络上下载大文件具有不确定性，可能会受很多因素影响，比如网络抖动导致文件下载不完成，文件被恶意篡改等，这些问题都会导致最终下载的文件无法正常使用。

简介

本文基于 Python 的内置模块 hashlib 实现文件MD5、SHA1、SHA256值的计算。

方法

针对小文件（＜500MB）

直接以二进读模式（rb）加载进来，然后计算。

import hashlib


def encrypt(fpath: str, algorithm: str) -> str:
    with open(fpath, 'rb') as f:
        return hashlib.new(algorithm, f.read()).hexdigest()


if __name__ == '__main__':
    for algorithm in ('md5', 'sha1', 'sha256'):
        hexdigest = encrypt('test.file', algorithm)
        print(f'algorithm: hexdigest')

针对大文件（500MB~1GB）

为了更友好地视觉体验，可以增加一个进度条。（进度条用 rich 实现，安装：pip install rich）

import hashlib

import rich.progress


def encrypt(fpath: str, algorithm: str) -> str:
    with rich.progress.open(fpath, 'rb') as f:
        return hashlib.new(algorithm, f.read()).hexdigest()


if __name__ == '__main__':
    for algorithm in ('md5', 'sha1', 'sha256'):
        hexdigest = encrypt('test.file', algorithm)
        print(f'algorithm: hexdigest')

针对超大文件（＞1GB）

为了避免内存溢出，按块读取并迭代计算。

import hashlib

import rich.progress


def encrypt(fpath: str, algorithm: str) -> str:
    with rich.progress.open(fpath, 'rb') as f:
        hash = hashlib.new(algorithm)
        for chunk in iter(lambda: f.read(2**20), b''):
            hash.update(chunk)
        return hash.hexdigest()


if __name__ == '__main__':
    for algorithm in ('md5', 'sha1', 'sha256'):
        hexdigest = encrypt('ubuntu-22.04-desktop-amd64.iso', algorithm)
        print(f'algorithm: hexdigest')

Reading... ---------------------------------------- 3.7/3.7 GB 0:00:00
md5: 7621da10af45a031ea9a0d1d7fea9643
Reading... ---------------------------------------- 3.7/3.7 GB 0:00:00
sha1: 8a73a36f38397974d5517b861a68577514ef694e
Reading... ---------------------------------------- 3.7/3.7 GB 0:00:00
sha256: b85286d9855f549ed9895763519f6a295a7698fb9c5c5345811b3eefadfb6f07

校验

ubuntu-22.04-desktop-amd64.iso 是 ubuntu 的一个桌面系统镜像文件，文件大小是 3.7GB，官方给出的校验 sha256 值如下：

可以看到，和我们用 Python 计算的 sha256 值是一模一样的，说明我们下载的文件是没问题的。

参考

hashlib — Secure hashes and message digests