BigQuery 源/接收器的数据流管道详细信息未显示
Posted
技术标签:
【中文标题】BigQuery 源/接收器的数据流管道详细信息未显示【英文标题】:Dataflow pipeline details for BigQuery source/sinks not displaying 【发布时间】:2016-06-24 00:28:38 【问题描述】:根据 Google Dataflow 团队的 announcement,如果我们使用 1.6 SDK,我们应该能够在控制台中看到 BigQuery 源和接收器的详细信息。
但是,尽管确实显示了新的“管道选项”,但 BigQuery 源/接收器的详细信息并未显示。我们的管道以批处理模式运行。 Job id 供参考:2016-06-23_04_38_00-7749718775594891108
我们如何显示 BigQuery 源/接收器的详细信息?
【问题讨论】:
【参考方案1】:我是向数据流 UI 添加此功能的数据流开发人员之一。
目前,这些详细信息仅在您单击展开的步骤时才可见。如果单击箭头图标以完全展开源/接收器并单击展开后显示的步骤,则您可以查看为该步骤指定的详细信息,例如 BigQuery 查询或表信息。
对于管道中的某个步骤,您是否正在寻找某个特定的细节/参数而没有看到?
【讨论】:
谢谢亚历克斯。我需要深入研究,即点击 3 次即可找到我想要的信息。以上是关于BigQuery 源/接收器的数据流管道详细信息未显示的主要内容,如果未能解决你的问题,请参考以下文章
是否使用数据流管道(未内置自定义)从谷歌存储到 bigquery 摄取数据(批量)?
使用 Dataflow 管道 (python) 将多个 Json zip 文件从 GCS 加载到 BigQuery