python读取大文件处理时使用多线程
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python读取大文件处理时使用多线程相关的知识，希望对你有一定的参考价值。
参考技术A 如果有个很大的文件，几十G?，需要每次读取一部分，处理后再读取剩余部分。with open as f 已经从内部处理难点，使用 for line in f 以迭代器的形式每次读取一行，不会有内存问题。
下面程序的思路是用一个列表存放读取到的数据，达到长度后就开始处理，处理完就清空列表，继续执行
以上是关于python读取大文件处理时使用多线程的主要内容，如果未能解决你的问题，请参考以下文章