大熊猫出口选择比较

Posted 2021-04-08

当我开始使用更大的数据集时，将它们导出到CSV文件似乎开始变得缓慢且效率低下。因此，我认为开始一个比较DataFrames的不同导出选项的线程是明​​智的。

答案

这取决于你的目标。但是如果你将to_csv与to_excel进行比较，你会注意到将文件保存为csv要快得多（大约快十倍）。如果你需要一个表格输出，那么使用to_csv应该是你最好的选择。

import pandas as pd
import numpy as np
from datetime import datetime
import time

df = pd.DataFrame(np.random.randint(0,100,size=(100, 4)), columns=list('ABCD'))

start = time.time()
df.to_csv('test.csv')
done = time.time()
elapsed = done - start
print(elapsed)

to_csv的结果：0.003989458084106445

start = time.time()
df.to_excel('test.xlsx')
done = time.time()
elapsed = done - start
print(elapsed)

to_excel的结果：0.049866676330566406

我希望它有所帮助！ BR

另一答案

在方便的一面，pickleing您的数据保留了数据的结构和数据类型。我发现这在使用MultiIndexes时特别有用，因为您不必指定有多少个标题行和列。