Google Bigquery 的 TIMESTAMP 的 python 数据类型是啥?

Posted

技术标签:

【中文标题】Google Bigquery 的 TIMESTAMP 的 python 数据类型是啥?【英文标题】:What is the python data type for Google Bigquery's TIMESTAMP?Google Bigquery 的 TIMESTAMP 的 python 数据类型是什么? 【发布时间】:2018-05-01 14:34:14 【问题描述】:

我正在使用 google-cloud-python 库将数据加载到 Google 的 BigQuery 中,如下所示:

http://google-cloud-python.readthedocs.io/en/latest/index.html

其中一部分涉及检查我正在导入的数据的数据类型,以确保它们与目标表架构中的数据类型相匹配。为此,我将 python 对象类型转换为等效的 GBQ:

import datetime 

def convert_type_to_bigquery(object_type):
    if isinstance(object_type, str):
        return 'STRING'
    elif isinstance(object_type, bytes):
        return 'BYTES'
    elif isinstance(object_type, int):
        return 'INTEGER'
    elif isinstance(object_type, float):
        return 'FLOAT'
    elif isinstance(object_type, bool):
        return 'BOOLEAN'
    elif isinstance(object_type, datetime.date):
        return 'DATE'
    elif isinstance(object_type, datetime.time):
        return 'TIME'
    elif isinstance(object_type, datetime.datetime):
        return 'DATETIME'
    elif isinstance(object_type, ???):
        return 'TIMESTAMP'
    else:
        return None

我可以找到除TIMESTAMP 类型之外的所有等价物。我可以在isinstance() 中使用等效项吗?

【问题讨论】:

你看过pandas-gbq 包吗?它会为您处理很多此类检查 我没有,但我会的。谢谢。 【参考方案1】:

您可以确定print(type(object_type))TIMESTAMP 对象一起使用,但根据此github page,看起来它只是datetime.datetime

...
Date = datetime.date
Time = datetime.time
Timestamp = datetime.datetime
...

我必须说,我想添加答案的主要原因是指出ìsinstance(...) 的一个常见错误。这不起作用,因为boolint 的一个实例:

elif isinstance(object_type, int):
    return 'INTEGER'
elif isinstance(object_type, float):
    return 'FLOAT'
elif isinstance(object_type, bool):
    return 'BOOLEAN'

看这个例子:

>>> isinstance(True, int)
True

您需要先使用elif type(object_type) is int: 或勾选bool

【讨论】:

在 Python3.8 中:>>> isinstance(True, bool) True >>> isinstance(1, bool) False @iowatt 不确定您要指出什么,但在任何 python3 版本中都是一样的。您需要测试的检查是isinstance(True, int)

以上是关于Google Bigquery 的 TIMESTAMP 的 python 数据类型是啥?的主要内容,如果未能解决你的问题,请参考以下文章

Google BigQuery - 将数据流式传输到 BigQuery

使用 Google.Cloud.BigQuery.V2 的 BigQuery 加载作业的幂等性

com.google.cloud.bigquery.BigQueryException:读取超时

Google BigQuery 的 Google App Engine 授权

将表从 google bigquery 导出到 google 存储

使用命令行将数据从 BigQuery 加载到 Google 表格中