pandas DataFrame.to_sql 和 nan 值

Posted 2023-03-25

【中文标题】pandas DataFrame.to_sql 和 nan 值

【英文标题】：pandas DataFrame.to_sql and nan values

【发布时间】：2018-11-26 10:32:38

【问题描述】：

我正在尝试使用 pandas DataFrame.to_sql 在我的 Postgres 数据库的表中插入值。我在一列不属于任何约束的整数中有一些 nan 值。

我收到以下错误：

sqlalchemy.exc.DataError: (DataError) integer out of range

当我将 nan 值替换为 zéros 时，插入会根据需要进行，因此实际上是 nan 值导致了我的错误。

我尝试将 nan 值转换为 None 和 np.nan ，但我得到了同样的错误。 所以问题是：我需要什么 nan 格式以便 pd.to_sql 正确处理它？

我的限制是：python 2.7 pandas 0.14.1、sqlalchemy 0.9.8、Postgres 9.2

【问题讨论】：

这里有类似的问题：“十进制值不正确：XYZ 列的'NaN'”。就我而言，XYZ 是 DECIMAL 列。

【参考方案1】：

问题在于您的 pandas 版本：0.14.1。

从 pandas 0.15 开始，to_sql 支持写入 NaN 值。

您可以尝试升级您的熊猫。

此外，现在您可以将NAN 转换为NONE，例如：

df = df.astype(object).where(pd.notnull(df), None)

【讨论】：

感谢您的回答。不幸的是，我不能升级 pandas，因为它在我使用的服务器上，并且管理员不希望继续升级.. 我已经尝试用 None 替换，但它不起作用，我得到同样的错误..

请参考this。