Google Cloud Platform - 数据融合 - 牧马人

Posted

技术标签:

【中文标题】Google Cloud Platform - 数据融合 - 牧马人【英文标题】:Google Cloud Platform - Data Fusion - Wrangler 【发布时间】:2022-01-20 13:45:33 【问题描述】:

我正在尝试在 Google Cloud Platform 中加入两个输入源,一个来自 BigQuery,另一个来自包含 .csv 文件的 Google Cloud Storage。我认为使用连接器是最好的选择。

但我很好奇是否可以使用 table lookup: column 'table' 指令来实现相同的效果。输入记录将来自 BigQuery,“表”将引用 Google Cloud Storage 中的 .csv 文件。是否可以仅使用 Wrangler 而不使用 joiner 来实现这一目标?

【问题讨论】:

【参考方案1】:

绝对可以,您可以使用 Wrangler 而不是 joiner 来连接两个数据源,您可以应用基本转换并将此信息导出到 Google Cloud Platform 中的接收器中。

对于您将 Bi​​gQuery 用于输入记录和 Google Cloud Storage 中包含的 .CSV 文件中的“表”的特定场景,请查看此tutorial,其中包含有关如何实现它的具体步骤。

【讨论】:

@Nadhiya 如果此答案对您有所帮助,您可以单击复选标记图标将其标记为已接受。这可以帮助遇到同样问题的未来用户。

以上是关于Google Cloud Platform - 数据融合 - 牧马人的主要内容,如果未能解决你的问题,请参考以下文章

使用新的 Google Cloud 日志记录 jar 时,日志未显示在 Google Cloud Platform Stackdriver 中

Google Cloud Platform:Cloud Functions 与 App Engine

Google Cloud Platform - AI Platform:为啥调用 API 时会得到不同的响应正文?

Google Cloud Platform:无法通过API在Storage中上传新文件版本

保存Google Cloud Platform服务帐户凭据的位置

使用Google Cloud Platform的Fastai