一个10G的文件，但是内存只有4G，使用python如何进行性能调优？

Posted 2021-06-28 七月的小尾巴

有一个jsonline格式的文件file.txt大小约为10K

def get_lines(): 
	with open('file.txt','rb') as f: 
		return f.readlines() 
		
if __name__ == '__main__': 
	# 处理每一行数据
	for e in get_lines(): 
		process(e) 

假设现在要处理一个大小为10G的文件，但是内存只有4G，如果在只修改get_lines 函数而其他代码保持不变的情况下，应该如何实现？需要考虑的问题都有那些？

def get_lines(): 
	with open('file.txt','rb') as f: 
		for i in f: 
			yield i

个人认为：还是设置下每次返回的行数较好，否则读取次数太多。

def get_lines(): 
	l = [] 
	with open('file.txt','rb') as f: 	
		data = f.readlines(60000) 
	l.append(data) 
	yield l

Pandaaaa906提供的方法

from mmap import mmap 

def get_lines(fp): 
	with open(fp,"r+") as f: 
		m = mmap(f.fileno(), 0) 
		tmp = 0 
		for i, char in enumerate(m): 
			if char==b"\\n": 
			yield m[tmp:i+1].decode() 
			tmp = i+1 

if __name__=="__main__": 
	for i in get_lines("fp_some_huge_file"):
		print(i)

要考虑的问题有：内存只有4G无法一次性读入10G文件，需要分批读入分批读入数据要记录每次读入数据的位置。分批每次读取数据的大小，太小会在读取操作花费过多时间。