使用 Google 云数据流生成 xml 文件

Posted

技术标签:

【中文标题】使用 Google 云数据流生成 xml 文件【英文标题】:generate xml files with Google cloud dataflow 【发布时间】:2017-11-03 09:49:41 【问题描述】:

我正在开发一个项目来生成包含将在 Google 地图上显示的数据的 xml 文件。

这些表存储在云端 BigQuery 中。我们为这些表创建自己的查询。

如果知道我们将有一个参数表,如何通过 google Cloud DataFlow 在 BigQuery 上自动启动查询?

是否可以使用 Google Cloud DataFlow 生成 xml 文件?

【问题讨论】:

【参考方案1】:

如果您只是想确定在 Dataflow/Beam 中与 XML 交互的选项,这将有所帮助:

https://beam.apache.org/documentation/sdks/javadoc/2.1.0/org/apache/beam/sdk/io/xml/XmlIO.html

用于与 BigQuery 交互:

    查看 Beam 编程指南: https://beam.apache.org/documentation/programming-guide/

    要与 BigQuery 交互,请查看 javadoc: https://beam.apache.org/documentation/sdks/javadoc/2.1.0/

【讨论】:

感谢 @Yuri 的帮助我想知道:如何通过 google Cloud DataFlow 自动启动 BigQuery 上的查询 更新答案 - 看看这是否有帮助?

以上是关于使用 Google 云数据流生成 xml 文件的主要内容,如果未能解决你的问题,请参考以下文章

干货分享|袋鼠云数栈离线开发平台在小文件治理上的探索实践之路

深入解读:获得 2021 Forrester 全球云数仓卓越表现者的阿里云数据仓库

基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

全球计算奥运冠军花落腾讯,腾讯云数智打破4项世界纪录

全球第一!新一代云数仓 SelectDB 登顶 ClickBench

全球第一!新一代云数仓 SelectDB 登顶 ClickBench