Google Bigquery:Spark - 不兼容的表分区规范

Posted

技术标签:

【中文标题】Google Bigquery:Spark - 不兼容的表分区规范【英文标题】:Google Bigquery: Spark - Incompatible table partitioning specification 【发布时间】:2017-01-09 11:42:05 【问题描述】:

从未分区的临时表向按天分区的最终表提交复制作业时,我收到了

原因:java.io.IOException:ErrorMessage:不兼容的表 分区规范。期望分区规范 间隔(类型:天),但输入分区规范为无;

在here看到另一个人有这个问题

我现在面临同样的问题,使用 Spark saveAsNewAPIHadoopDataset,它使用连接器创建临时表,然后大概使用复制命令将数据加载到目标

修复 Pavan 是否有 eta?

【问题讨论】:

【参考方案1】:

我们最近进行了更改以支持此功能(在这种情况下,它将复制到当前日期的分区中)。我们预计该更改将很快发布。

【讨论】:

谢谢Paven 知道什么时候发布吗?我在哪里可以看到它发布的消息?

以上是关于Google Bigquery:Spark - 不兼容的表分区规范的主要内容,如果未能解决你的问题,请参考以下文章

Google Spark-BigQuery-Connector如何利用BigQuery Storage API?

使用 spark 将 parquet 数据从 Google 云存储加载到 BigQuery

Google BigQuery 与 Spark 和 Parquet

Google BigQuery Spark 连接器:如何在追加时忽略未知值

运行时异常 java.lang.NoSuchMethodError: com.google.common.base.Optional.toJavaUtil()L 与 Spark-BigQuery 连接

Google Cloud Dataproc 删除 BigQuery 表不起作用