Bigquery 无法将输入字符串解析为 TIMESTAMP

Posted 2023-02-24

【中文标题】Bigquery 无法将输入字符串解析为 TIMESTAMP

【英文标题】：Bigquery failed to parse input string as TIMESTAMP

【发布时间】：2021-09-19 05:01:15

【问题描述】：

我正在尝试使用架构自动检测将 csv 从 Google Cloud Storage 加载到 Bigquery。

但是，我的一个专栏上的解析错误让我很困惑。我很困惑为什么 bigquery 无法解析该字段。在 the documentation 中，它应该能够解析看起来像 YYYY-MM-DD HH:MM:SS.SSSSSS 的字段（这正是我的 BQInsertTimeUTC 列的内容）。

这是我的代码：

from google.cloud import bigquery
from google.oauth2 import service_account

project_id = "<my_project_id>"
table_name = "<my_table_name>"
gs_link = "gs://<my_bucket_id>/my_file.csv"

creds = service_account.Credentials.from_service_account_info(gcs_creds)
bq_client = bigquery.Client(project=project_id, credentials=creds)
dataset_ref = bq_client.dataset(<my_dataset_id>)


# create job_config object
job_config = bigquery.LoadJobConfig(
    autodetect=True,
    skip_leading_rows=1,
    source_format="CSV",
    write_disposition="WRITE_TRUNCATE",
)

# prepare the load_job
load_job = bq_client.load_table_from_uri(
    gs_link,
    dataset_ref.table(table_name),
    job_config=job_config,
)

# execute the load_job
result = load_job.result()

错误信息：

Could not parse '2021-07-07 23:10:47.989155' as TIMESTAMP for field BQInsertTimeUTC (position 4) starting at location 64  with message 'Failed to parse input string "2021-07-07 23:10:47.989155"'

这是存在于 GCS 中的 csv 文件：

first_name, last_name, date, number_col, BQInsertTimeUTC, ModifiedBy
lisa, simpson, 1/2/2020T12:00:00, 2, 2021-07-07 23:10:47.989155, tim
bart, simpson, 1/2/2020T12:00:00, 3, 2021-07-07 23:10:47.989155, tim
maggie, simpson, 1/2/2020T12:00:00, 4, 2021-07-07 23:10:47.989155, tim
marge, simpson, 1/2/2020T12:00:00, 5, 2021-07-07 23:10:47.989155, tim
homer, simpson, 1/3/2020T12:00:00, 6, 2021-07-07 23:10:47.989155, tim

【参考方案1】：

将 CSV 文件加载到 BigQuery 假定所有时间戳字段都将遵循相同的格式。在您的 CSV 文件中，由于第一个时间戳值为“1/2/2020T12:00:00”，因此将考虑 CSV 文件使用的时间戳格式为 [M]M-[D]D-YYYYT[H ]H:[M]M:[S]S[.F]][时区]。

因此，它抱怨无法解析值“2021-07-07 23:10:47.989155”。如果您将“2021-07-07 23:10:47.989155”更改为“7/7/2021T23:10:47.989155”，它将起作用。

要解决此问题，您可以

创建一个日期列类型和 BQInsertTimeUTC 列类型为 STRING 的表。将 CSV 加载到其中。然后公开一个视图，该视图将具有日期和 BQInsertTimeUTC 的预期 TIMESTAMP 列类型，使用 SQL 转换基表中的数据。 打开 CSV 文件并转换“日期”值或“BQInsertTimeUTC”值以使其格式一致。

顺便说一句，您在此处粘贴的 CSV 示例在分隔符“，”之后有多余的空间。

工作版本：

first_name,last_name,date,number_col,BQInsertTimeUTC,ModifiedBy
lisa,simpson,1/2/2020T12:00:00,7/7/2021T23:10:47.989155,tim
bart,simpson,1/2/2020T12:00:00,3,7/7/2021T23:10:47.989155,tim
maggie,simpson,1/2/2020T12:00:00,4,7/7/2021T23:10:47.989155,tim
marge,simpson,1/2/2020T12:00:00,5,7/7/2021T23:10:47.989155,tim
homer,simpson,1/3/2020T12:00:00,6,7/7/2021T23:10:47.989155,tim

【参考方案2】：

根据这里提到的限制，

加载 JSON 或 CSV 数据时，TIMESTAMP 列中的值必须使用破折号 - 分隔时间戳的日期部分，并且日期必须采用以下格式：YYYY-MM-DD（年-月-日）。时间戳的hh:mm:ss（小时-分钟-秒）部分必须使用冒号: 分隔符。

那么您可以尝试将BQInsertTimeUTC 传递为2021-07-07 23:10:47 而不是毫秒而不是2021-07-07 23:10:47.989155

如果您仍想使用不同的日期格式，您可以执行以下操作：

按原样将 CSV 文件加载到 BigQuery（即，您的架构应修改为 BQInsertTimeUTC:STRING） 创建一个 BigQuery 视图，将发货字段从字符串转换为可识别的日期格式。 为BQInsertTimeUTC 执行PARSE_DATE 并使用该视图进行分析

【讨论】：

在您引用的限制之下，有一个部分提供了 BigQuery 能够自动检测的一些日期示例。 “对于 TIMESTAMP 列，BigQuery 检测多种时间戳格式，包括但不限于”：YYYY-MM-DD HH:MM YYYY-MM-DD HH:MM:SS YYYY-MM-DD HH:MM:SS .SSSSSS YYYY/MM/DD HH:MM 请注意其中一些不使用破折号分隔符并且有毫秒。我的列应该被自动检测为时间戳（根据文档），但某些原因导致失败。