将数据从 Oracle Golden Gate 馈送到 Big Query 的最佳方式是啥

Posted 2023-02-16

【中文标题】将数据从 Oracle Golden Gate 馈送到 Big Query 的最佳方式是啥

【英文标题】：What is the best way to feed data from Oracle Golden Gate to Big Query将数据从 Oracle Golden Gate 馈送到 Big Query 的最佳方式是什么

【发布时间】：2020-10-25 05:33:13

【问题描述】：

我期待从 OGG 将数据流式传输到 BQ。最好的方法是什么？来自 Oracle Golden Gate 的数据可以直接流式传输到 BigQuery 还是我们需要一些连接器？

请建议最好的方法？

【参考方案1】：

您需要一个连接器来连接两个世界：

将 OGG 事件转换为 PubSub 消息的桥接器，然后在流中处理 PubSub 消息（使用 Dataflow 或 Cloud Run/Cloud Functions if the data volume and rate are acceptable）。 或使用计算（本地或 GCP）监听 OGG，然后针对每条消息，将数据流式写入 BigQuery。

【讨论】：

感谢您的回答，但我是 OGG 新手，需要知道我们是否需要使用第三方连接器，或者我们是否有可能完全使用 GCP 服务。我担心使用任何第三方派对工具。我们如何通过 GCP 上的计算来收听 OGG。您能详细说明一下吗？

我会添加 ETL 文章 - cloud.google.com/solutions/… 和 BigQuery 数据集成 - cloud.google.com/bigquery/providers。看看 Alooma。

您可以像处理 JMS 队列一样处理 OGG 消息。这里是Oracle documentation for that。我从未尝试过这种实现方式。

【参考方案2】：

作为提醒，GoldenGate 产品已通过原生认证，可将数据传输到 Google Big Query，GG 19c 大数据认证的完整列表如下：https://www.oracle.com/technetwork/middleware/ogg-19-1-0-0-0-cert-matrix-5491855.xls

（注意；您可以使用 OGG 12.3 及更高版本将 Oracle DB 11.2.0.4 及更高版本中的数据复制到 GG Big Data 19c 中用于 Big Query）

【参考方案3】：

Oracle GoldenGate 有一个本机适配器可交付给 Google BigQuery。它自 2018 年 9 月开始投放市场，并被许多公司成功使用。 参考https://blogs.oracle.com/dataintegration/goldengate-for-big-data-123211-release-update

我认为 Google Pub/Sub 不是将大量数据传输到云端的正确接口。 Google Pub/Sub 对吞吐量有限制。 请参阅此链接https://cloud.google.com/pubsub/quotas。

请注意，GoldenGate 没有任何真正的限制或界限，例如 Google Pub/Sub 或 AWS Kinesis。 GoldenGate 是一款真正可扩展的产品。

使用 Google Pub/Sub 失败的用例可能如下：

如果输入速度超过 5MB/秒会怎样？ Pub/Sub 将拒绝 数据以及应该如何处理该故障？ 有人可能会争辩说他们会创建多个主题，但如果主表的创建速度超过 5MB/秒，而您不想分成不同的主题怎么办？