使用 Google 云数据流生成 xml 文件
Posted
技术标签:
【中文标题】使用 Google 云数据流生成 xml 文件【英文标题】:generate xml files with Google cloud dataflow 【发布时间】:2017-11-03 09:49:41 【问题描述】:我正在开发一个项目来生成包含将在 Google 地图上显示的数据的 xml 文件。
这些表存储在云端 BigQuery 中。我们为这些表创建自己的查询。
如果知道我们将有一个参数表,如何通过 google Cloud DataFlow 在 BigQuery 上自动启动查询?
是否可以使用 Google Cloud DataFlow 生成 xml 文件?
【问题讨论】:
【参考方案1】:如果您只是想确定在 Dataflow/Beam 中与 XML 交互的选项,这将有所帮助:
https://beam.apache.org/documentation/sdks/javadoc/2.1.0/org/apache/beam/sdk/io/xml/XmlIO.html
用于与 BigQuery 交互:
查看 Beam 编程指南: https://beam.apache.org/documentation/programming-guide/
要与 BigQuery 交互,请查看 javadoc: https://beam.apache.org/documentation/sdks/javadoc/2.1.0/
【讨论】:
感谢 @Yuri 的帮助我想知道:如何通过 google Cloud DataFlow 自动启动 BigQuery 上的查询 更新答案 - 看看这是否有帮助?以上是关于使用 Google 云数据流生成 xml 文件的主要内容,如果未能解决你的问题,请参考以下文章
干货分享|袋鼠云数栈离线开发平台在小文件治理上的探索实践之路
深入解读:获得 2021 Forrester 全球云数仓卓越表现者的阿里云数据仓库
基于阿里云数加MaxCompute的企业大数据仓库架构建设思路