text [处理大型数据集]使用chunksizes控制大型数据集（无内存错误）#pandas

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了text [处理大型数据集]使用chunksizes控制大型数据集（无内存错误）#pandas相关的知识，希望对你有一定的参考价值。

chunksize = 10**5 # define a chunksize -> read 100.000 rows per chunk

# text_file_reader represents all our chunks
text_file_reader = pd.read_csv('FILE', header=None, chunksize=chunksize, iterator=True)

# Combining
df = pd.concat(text_file_reader, ignore_index=True)

以上是关于text [处理大型数据集]使用chunksizes控制大型数据集（无内存错误）#pandas的主要内容，如果未能解决你的问题，请参考以下文章

在 R 中处理大型 csv 文件

在 python 中处理大型数据集的最佳方法

如何使用批处理为大型数据集拟合 Keras ImageDataGenerator

Keras 处理无法装入内存的大型数据集

如何在 pytorch 中处理大型数据集

处理大型数据集和内存限制 [关闭]