管理 MySQL 数据的最快方法是啥？熊猫与 fetch_row

Posted 2023-02-24

【中文标题】管理 MySQL 数据的最快方法是啥？熊猫与 fetch_row

【英文标题】：What is a fastest way to manage MySQL data? pandas vs fetch_row管理 MySQL 数据的最快方法是什么？熊猫与 fetch_row

【发布时间】：2018-09-11 18:56:12

【问题描述】：

我想知道我从 mysql 收到的管理数据的常用和更好的方法是什么。

db = MySQLdb.connect(host="####", user="####", passwd="####", db="####", charset='utf8')
db.query(sql)
result = db.use_result()

我使用 use_result() 因为数据非常大（大约 9000000 行）而且我没有太多 RAM。

之后，我将按每行处理此数据行

line = result.fetch_row(maxrows=1, how=1)[0]
#creating objects from lines 

但我找到了另一种使用 pandas DataFrame 管理 MySQL 数据的方法

df = pd.read_sql_query('SQL QUERY', con= db)

所以问题很简单——什么更好？

附：我无法真正测试我便宜的笔记本电脑上什么速度更快，因为这个程序的执行时间从 170 秒到 250 秒波动。

【参考方案1】：

在较小的数据集上进行测试。

如果您不使用极小的数据集进行测试，性能将是相同的。