如何使用 Bigquery 连接 GCP SQL 实例?
Posted
技术标签:
【中文标题】如何使用 Bigquery 连接 GCP SQL 实例?【英文标题】:How to connect GCP SQL instance by using Bigquery? 【发布时间】:2019-12-07 14:59:19 【问题描述】:我需要帮助,我是 Bigquery 的新手..
我想在 Data Studio 中通过 Bigquery 连接查看我的 SQL 表。但是我不知道如何从 Bigquery 连接 GCP mysql 实例。
我尝试更改我的 SQL 实例的区域/位置。(我认为它有一点帮助)并在新的 BigQuery Web UI 中使用此查询..但我收到以下错误。
选择 *
从
myinstanceid.my_database_01.TABLE_YS
是的
错误:((未找到:项目 myinstanceid))
【问题讨论】:
【参考方案1】:您不能直接连接 MySQL 数据库,唯一支持的 external data sources 是:GCS 文件、Cloud Bigtable、Google Drive(甚至直接 google 电子表格)。
要对 MySQL 数据库中的数据运行分析,您需要将数据导出到受支持的外部数据源,或者更好地导出到 BigQuery 原生表中。
【讨论】:
有没有办法通过 Bigquery 查看“实时”数据?因此我们可以更频繁地在 Google Data Studio 上查看数据。 (Cloud SQL 和 MySQL 连接器只允许 12 小时的数据新鲜度。) 当您从 BigQuery 表/视图驱动数据洞察仪表板时,数据是“实时”的,我认为 12 小时限制是与连接器相关的限制。如果您设计了一个将数据从 MySQL 转储到 Bigquery 的流程,您可以在加载流程完成时访问数据。以上是关于如何使用 Bigquery 连接 GCP SQL 实例?的主要内容,如果未能解决你的问题,请参考以下文章
通常如何从 Google Apps 脚本访问 BigQuery
如何在 BigQuery 中最小化每次 SQL 查询执行的成本
ValueError:必须使用 beam.io.gcp.bigquery.ReadFromBigQuery 指定 BigQuery 表或查询
使用 apache beam 中的 beam.io.gcp.bigquery.WriteToBigQuery 模块写入日期分区的 Bigquery 表