python按行遍历一个大文件,最优的语法应该是什么?

Posted 一天一点到

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python按行遍历一个大文件,最优的语法应该是什么?相关的知识,希望对你有一定的参考价值。

 

理论上来说,总体上file.readlines()可以(取决于实现)不慢于你自己手动的一次次调用file.readline(),因为前者的循环在C语言层面,而你的循环是在Python语言层面。

但是在内存占用上前者可能是后者的好几十百倍,因为前者会一次性把所有数据读取到内存中,而后者只每次读取一行。

更好的写法是:
with open(filename) as file:
    for line in file:
        do_things(line)

 

以上是关于python按行遍历一个大文件,最优的语法应该是什么?的主要内容,如果未能解决你的问题,请参考以下文章

BFS 和 DFS

PHP快速按行读取CSV大文件的封装类分享(也适用于其它超大文本文件)

Python pandas 按行按列遍历DataFrame

最优的方法竟然来自“贪心算法”

二位数组按行按列遍历效率问题小细节

二位数组按行按列遍历效率问题小细节