Google Spark-BigQuery-Connector如何利用BigQuery Storage API？

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Google Spark-BigQuery-Connector如何利用BigQuery Storage API？相关的知识，希望对你有一定的参考价值。

根据https://cloud.google.com/dataproc/docs/concepts/connectors/bigquery，连接器使用BigQuery Storage API通过gRPC读取数据。但是，我在这里的源代码中找不到任何Storage API / gRPC用法：https://github.com/GoogleCloudDataproc/spark-bigquery-connector/tree/master/connector/src/main/scala

我的问题是：1.谁能告诉我使用存储API和gprc调用的源代码？2. Dataset<Row> df = session.read().format("bigquery").load()是否通过GBQ存储API工作？如果没有，如何使用BigQuery Storage API从GBQ读取到Spark？

答案

  1. Spark BigQuery Connector仅使用BigQuery Storage API进行读取，例如，您可以看到它here。

  2. 是，Dataset<Row> df = session.read().format("bigquery").load()通过BigQuery Storage API进行工作。

以上是关于Google Spark-BigQuery-Connector如何利用BigQuery Storage API？的主要内容，如果未能解决你的问题，请参考以下文章

Google+ 与 Google 身份平台 API

无法验证服务器身份calendar.google

使用 Google 表单更新现有的 Google 表格

URL www.google.com / google 被重定向到不同的 URL www.google.co.in [关闭]

google hosts

google hosts