关于Google Big Query中数据框中的DateTime与DateTime的问题

Posted 2021-04-01

我正在尝试将数据从数据框推送到Google Big Query。

我将数据框的日期字段设置为

df['time'] = df['time'].astype('datetime64[ns]')

我将Google的Big Query日期设置为*DATETIME*。当我从Python导出到GBQ时，我收到此错误：

InvalidSchema：请验证DataFrame中的结构和数据类型是否与目标表的架构匹配。

如果我把所有东西都变成字符串格式，那就行了。我不认为你只能将数据框字段设置为date，对吗？是否有一种聪明的方法来使这个工作，或者日期必须设置为字符串？

TIA。

答案

我发现数据加载日期和日期时间类型列不起作用。所以我尝试使用数据类型时间戳，然后可以在bigquery表中加载数据。

定义日期列的模式时，将其定义为时间戳，如下所示。

bigquery.SchemaField('dateofbirth', 'timestamp')

并将dataframe列数据类型从object转换为bigquery可以理解的其他日期时间格式。

df.dateofbirth=df.dateofbirth.astype('datetime64')

截至8-mar-2019日期和日期时间列类型不起作用。