Spark BigQuery 连接器,设置欧盟位置

Posted

技术标签:

【中文标题】Spark BigQuery 连接器,设置欧盟位置【英文标题】:Spark BigQuery Connector, set EU location 【发布时间】:2017-01-19 11:54:55 【问题描述】:

我一直在使用 Google 提供的 BQ 连接器,并为另一个抽象逻辑的连接器做出贡献

我的问题是如何使用 saveAsNewAPIHadoopDataset 通过 spark API 向欧盟位置写入数据?

通过 hadoop conf 设置位置似乎不够

【问题讨论】:

【参考方案1】:

我只是给自己写了一个新的连接器来解决这个问题。你可以查看here

【讨论】:

以上是关于Spark BigQuery 连接器,设置欧盟位置的主要内容,如果未能解决你的问题,请参考以下文章

如何解决 BigQuery 中的“在美国位置找不到数据集”错误?

您是不是曾经使用欧盟或英国帐户从韩国登录 Bigquery?

Spark on YARN 和 spark-bigquery 连接器

将查询结果移到另一个位置

在 BigQuery 中将大量数据从美国数据集迁移到欧盟数据集的最佳方法?

使用 Spark BigQuery 连接器启动 Dataproc 集群