pandas DataFrame.to_sql 和 nan 值

Posted

技术标签:

【中文标题】pandas DataFrame.to_sql 和 nan 值【英文标题】:pandas DataFrame.to_sql and nan values 【发布时间】:2018-11-26 10:32:38 【问题描述】:

我正在尝试使用 pandas DataFrame.to_sql 在我的 Postgres 数据库的表中插入值。我在一列不属于任何约束的整数中有一些 nan 值。

我收到以下错误:

sqlalchemy.exc.DataError: (DataError) integer out of range

当我将 nan 值替换为 zéros 时,插入会根据需要进行,因此实际上是 nan 值导致了我的错误。

我尝试将 nan 值转换为 None 和 np.nan ,但我得到了同样的错误。 所以问题是:我需要什么 nan 格式以便 pd.to_sql 正确处理它?

我的限制是:python 2.7 pandas 0.14.1、sqlalchemy 0.9.8、Postgres 9.2

【问题讨论】:

这里有类似的问题:“十进制值不正确:XYZ 列的'NaN'”。就我而言,XYZ 是 DECIMAL 列。 【参考方案1】:

问题在于您的 pandas 版本:0.14.1。

从 pandas 0.15 开始,to_sql 支持写入 NaN 值。

您可以尝试升级您的熊猫。

此外,现在您可以将NAN 转换为NONE,例如:

df = df.astype(object).where(pd.notnull(df), None)

【讨论】:

感谢您的回答。不幸的是,我不能升级 pandas,因为它在我使用的服务器上,并且管理员不希望继续升级.. 我已经尝试用 None 替换,但它不起作用,我得到同样的错误.. 请参考this。

以上是关于pandas DataFrame.to_sql 和 nan 值的主要内容,如果未能解决你的问题,请参考以下文章

Pandas DataFrame.to_sql() 函数是不是需要后续的 commit()?

使用 pyODBC 的 fast_executemany 加速 pandas.DataFrame.to_sql

Pandas DataFrame.to_sql() 错误 - 在字符串格式化期间并非所有参数都转换

pandas DataFrame.to_sql() 函数 if_exists 参数不起作用

如何将 DataFrame 写入 postgres 表?

Python:使用 dataframe.to_sql 向 MySQL 添加主键