Google Bigquery:Spark - 不兼容的表分区规范
Posted
技术标签:
【中文标题】Google Bigquery:Spark - 不兼容的表分区规范【英文标题】:Google Bigquery: Spark - Incompatible table partitioning specification 【发布时间】:2017-01-09 11:42:05 【问题描述】:从未分区的临时表向按天分区的最终表提交复制作业时,我收到了
原因:java.io.IOException:ErrorMessage:不兼容的表 分区规范。期望分区规范 间隔(类型:天),但输入分区规范为无;
在here看到另一个人有这个问题
我现在面临同样的问题,使用 Spark saveAsNewAPIHadoopDataset
,它使用连接器创建临时表,然后大概使用复制命令将数据加载到目标
修复 Pavan 是否有 eta?
【问题讨论】:
【参考方案1】:我们最近进行了更改以支持此功能(在这种情况下,它将复制到当前日期的分区中)。我们预计该更改将很快发布。
【讨论】:
谢谢Paven 知道什么时候发布吗?我在哪里可以看到它发布的消息?以上是关于Google Bigquery:Spark - 不兼容的表分区规范的主要内容,如果未能解决你的问题,请参考以下文章
Google Spark-BigQuery-Connector如何利用BigQuery Storage API?
使用 spark 将 parquet 数据从 Google 云存储加载到 BigQuery
Google BigQuery 与 Spark 和 Parquet
Google BigQuery Spark 连接器:如何在追加时忽略未知值
运行时异常 java.lang.NoSuchMethodError: com.google.common.base.Optional.toJavaUtil()L 与 Spark-BigQuery 连接