python读取大文件

Posted c-x-a

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python读取大文件相关的知识,希望对你有一定的参考价值。

def chunked_file_reader(file,block_size=1024*8):
    """生成器函数:分块读取文件内容,使用 iter 函数
    """
    # 首先使用 partial(fp.read, block_size) 构造一个新的无需参数的函数
    # 循环将不断返回 fp.read(block_size) 调用结果,直到其为 '' 时终止
    for chunk in iter(partial(file.read,block_size),""):
        yield chunk

以上是关于python读取大文件的主要内容,如果未能解决你的问题,请参考以下文章

Go 读取大文件

Python3读取大文件的方法

python读取大文件倒数第二行

python读取大文件

Python:分块读取大文件

Python:分块读取大文件