如果我将我的应用程序部署到 GCP，我能否以某种方式让 google bq 工作得更快

Posted 2023-03-24

【中文标题】如果我将我的应用程序部署到 GCP，我能否以某种方式让 google bq 工作得更快

【英文标题】：Can I somehow make google bq work faster if I deploy my app to GCP

【发布时间】：2019-03-20 11:41:59

【问题描述】：

在玩 bq API 时。我注意到从我的本地机器获取大表相当耗时。这就是问题出现的时候，如果我将项目部署到 GCP 是否可以使其更快地工作？

我查看了 GCP 提供的所有文档，并没有发现任何对 google bq 的特殊处理，以防我的应用程序部署在 GCP 上：

https://cloud.google.com/bigquery/docs/quickstarts/quickstart-client-libraries

https://cloud.google.com/bigquery/docs/query-overview

google bq 不能运行得更快，如果部署在 GCP 上也不能让它运行得更快，这是否正确？

我担心的是我使用 http 请求到远程主机从 google bq 传递数据，而如果 google bq 主机是本地的，GCP 可以使用其他一些协议和技术进行数据传递。

【问题讨论】：

rather time consuming 是一个模糊的术语。你觉得什么是慢？迁移到云端不会有助于缩短查询时间，但会有助于缩短数据传输时间。取决于您进行的查询类型。

【参考方案1】：

查看storage API 以更快地从表格中读取数据。

BigQuery 支持一种名为 tabledata.list 的 API，它是免费的，但在传输大量行时速度不是很快。 BigQuery 最近在测试版中发布了上面链接的新存储 API，但它具有不同的后端实现并支持并行读取以更快地传输数据。