Spark BigQuery 连接器,设置欧盟位置
Posted
技术标签:
【中文标题】Spark BigQuery 连接器,设置欧盟位置【英文标题】:Spark BigQuery Connector, set EU location 【发布时间】:2017-01-19 11:54:55 【问题描述】:我一直在使用 Google 提供的 BQ 连接器,并为另一个抽象逻辑的连接器做出贡献
我的问题是如何使用 saveAsNewAPIHadoopDataset
通过 spark API 向欧盟位置写入数据?
通过 hadoop conf 设置位置似乎不够
【问题讨论】:
【参考方案1】:我只是给自己写了一个新的连接器来解决这个问题。你可以查看here
【讨论】:
以上是关于Spark BigQuery 连接器,设置欧盟位置的主要内容,如果未能解决你的问题,请参考以下文章
如何解决 BigQuery 中的“在美国位置找不到数据集”错误?
您是不是曾经使用欧盟或英国帐户从韩国登录 Bigquery?
Spark on YARN 和 spark-bigquery 连接器