BigQuery 源/接收器的数据流管道详细信息未显示

Posted

技术标签:

【中文标题】BigQuery 源/接收器的数据流管道详细信息未显示【英文标题】:Dataflow pipeline details for BigQuery source/sinks not displaying 【发布时间】:2016-06-24 00:28:38 【问题描述】:

根据 Google Dataflow 团队的 announcement,如果我们使用 1.6 SDK,我们应该能够在控制台中看到 BigQuery 源和接收器的详细信息。

但是,尽管确实显示了新的“管道选项”,但 BigQuery 源/接收器的详细信息并未显示。我们的管道以批处理模式运行。 Job id 供参考:2016-06-23_04_38_00-7749718775594891108

我们如何显示 BigQuery 源/接收器的详细信息?

【问题讨论】:

【参考方案1】:

我是向数据流 UI 添加此功能的数据流开发人员之一。

目前,这些详细信息仅在您单击展开的步骤时才可见。如果单击箭头图标以完全展开源/接收器并单击展开后显示的步骤,则您可以查看为该步骤指定的详细信息,例如 BigQuery 查询或表信息。

对于管道中的某个步骤,您是否正在寻找某个特定的细节/参数而没有看到?

【讨论】:

谢谢亚历克斯。我需要深入研究,即点击 3 次即可找到我想要的信息。

以上是关于BigQuery 源/接收器的数据流管道详细信息未显示的主要内容,如果未能解决你的问题,请参考以下文章

是否使用数据流管道(未内置自定义)从谷歌存储到 bigquery 摄取数据(批量)?

在数据流管道中动态设置 bigquery 表 id

在 Beam 管道中以编程方式生成 BigQuery 架构

使用 Dataflow 管道 (python) 将多个 Json zip 文件从 GCS 加载到 BigQuery

Google Cloud Data Fusion,如何在一个管道中将多个表加载到 bigquery

数据流:我可以使用批处理作业连续写/流写入BigQuery吗?