我可以在为 bigquery 做准备时对谷歌云 sql 中的数据进行非规范化吗

Posted 2023-03-24

【中文标题】我可以在为 bigquery 做准备时对谷歌云 sql 中的数据进行非规范化吗

【英文标题】：Can I denormalize data in google cloud sql in prep for bigquery

【发布时间】：2013-03-08 20:34:14

【问题描述】：

鉴于 bigquery 并不是一个非规范化数据的平台，我可以在导入 bigquery 之前对 google cloud sql 中的数据进行非规范化吗？

我有以下表格： Table1 500M 行，Table2 2M 行，Table3 800K 行，

由于各种原因，我无法在我们现有的关系数据库中进行非规范化。所以我想做一个数据库的 sql 转储，将其加载到 google cloud sql 中，然后使用 sql join 脚本创建一个要导入 bigquery 的大型平面表。

谢谢。

【参考方案1】：

应该可以。您应该能够将生成的平面表转储到 csv 并导入到 bigquery。但是，目前没有直接的 Cloud SQL 到 bigquery 加载机制。

【讨论】：

谢谢。向我建议了一个替代方案 - 使用 GAE 的 map reduce。会有这种可能吗？

是的... appengine mapreduce 也应该可以工作。这里有一个 codelab 描述了如何将 AppEngine MR 导入 BigQuery：developers.google.com/bigquery/articles/datastoretobigquery