如何将带小数字段的镶木地板文件加载到BigQuery中？

Posted 2021-04-12

我们有一个名为parq store的表作为镶木地板，并且在parq中有一个十进制的字段。

当我将parq加载到BigQuery时，我收到一条消息：

“不支持字段'field_name'的Parquet类型'FIXED_LEN_BYTE_ARRAY'（DECIMAL）。”

加载结果：

等待bqjob_r70dd180dddb0942d_00000160bb2ff706_1 ...（1s）当前状态：DONE查询字符串中的错误：处理作业'project_id：bqjob_r70dd180dddb0942d_00000160bb2ff706_1'时出错：不支持字段'field_name'的Parquet类型'FIXED_LEN_BYTE_ARRAY'（DECIMAL）。

命令：

bq load --source_format=PARQUET --time_partitioning_type=DAY "dataset.table$20171001" "gs://data.0.parq"

如何将像data.0.parq这样的镶木地板文件加载到Bigquery中？

谢谢。

答案

BigQuery尚不支持DECIMAL类型。据谷歌称，应该在第一季度做好准备：https://issuetracker.google.com/issues/35906014

所以同时我猜你必须把这个字段放到Float中才能把它存放到Parquet中