在 Dataflow 的云存储桶上哪里可以找到这个 pubsub 订阅？

Posted 2023-03-29

【中文标题】在 Dataflow 的云存储桶上哪里可以找到这个 pubsub 订阅？

【英文标题】：Where I can find this pubsub subscription on the cloud storage bucket for Dataflow?

【发布时间】：2022-01-11 04:18:50

【问题描述】：

我正在将数据从 mysql 复制到 Bigquery。作为我设置 DataStream 的第一步，它将文件复制到 GCS 并正常工作。现在我想将数据带到我的最终目的地 BigQuery，尝试使用 Datastream 到 Bigquery Dataflow 模板，但我不知道从哪里可以在云端获得此 Pub/Sub 订阅存储桶

我关注了this 教程，但它没有更新。我也检查了这个official doc，但不确定在哪里可以得到它。

【问题讨论】：

您应该创建一个通知频道，然后创建一个拉取订阅。 cloud.google.com/storage/docs/pubsub-notifications

如果是这样，那绝对不清楚！！！告诉我，我正在与 Datastream PM 联系。

谢谢！它有效，但现在我面临一个不同的问题。我创建了两个数据集db 和db_staging，db_staging 很好，我可以看到更改日志，但db 是空的。也请代表我向Datastream PM 请求更新youtube 教程，本教程不旧但不能跟随！

【参考方案1】：

这里有设置复制到 BigQuery 的更详细教程：https://cloud.google.com/datastream/docs/implementing-datastream-dataflow-analytics

要了解为什么db 为空，我们需要更多信息。数据流日志中有任何内容吗？ Dataflow 中定义的MERGE 频率是多少？

我会看到有关更新视频教程的信息，感谢您指出这一点。

【讨论】：

正如目前所写，您的答案尚不清楚。请edit 添加其他详细信息，以帮助其他人了解这如何解决所提出的问题。你可以找到更多关于如何写好答案的信息in the help center。