从本地计算机读取文件并使用谷歌数据流写入 BigQuery 或谷歌存储

Posted 2023-03-24

【中文标题】从本地计算机读取文件并使用谷歌数据流写入 BigQuery 或谷歌存储

【英文标题】：Read files from local computer and write to BigQuery or google storage using google dataflow

【发布时间】：2016-08-04 09:03:23

【问题描述】：

有没有办法从本地计算机读取 csv 文件并使用谷歌数据流将其写入大查询或存储？如果存在，应该使用什么 runner？

所有谷歌数据流示例要么从云读取，要么写入云存储或大查询。

我使用 DirectPipelineRunner 从本地计算机读取并写入本地计算机。

【参考方案1】：

DirectPipelineRunner 应该为此工作；您可以使用 TextIO 读取本地输入文件并使用 BigQueryIO 写入 BigQuery。