如何使用 oauth 2.0 对 Google Dataflow 管道进行身份验证

Posted 2023-03-31

【中文标题】如何使用 oauth 2.0 对 Google Dataflow 管道进行身份验证

【英文标题】：How to authenticate with oauth 2.0 to Google Dataflow pipeline

【发布时间】：2018-11-15 19:26:04

【问题描述】：

我正在尝试使用以下文档来使用 Google Dataflow 管道 python API：Dataflow Python Docs 第一次尝试在我们的项目中使用示例代码时，它打开了网络请求权限。我授予了所有权限，然后在网络上收到“身份验证完成”消息。

于是我又运行了python命令：

python -m apache_beam.examples.wordcount --input gs://dataflow-samples/shakespeare/kinglear.txt \
                                     --output gs://<your-gcs-bucket>/counts \
                                     --runner DataflowRunner \
                                     --project your-gcp-project \
                                     --temp_location gs://<your-gcs-bucket>/tmp/

（这是示例代码，我输入了我们自己的项目详情） 我总是收到 401 错误

"error": 

“错误”：[ “域”：“全球”， “原因”：“需要”， "message": "匿名调用者没有 storage.objects.create 访问 testing_data_flow。", “位置类型”：“标题”， “位置”：“授权” ], “代码”：401， "message": "匿名调用者没有 storage.objects.create 访问 testing_data_flow。"

我还没有找到任何可行的解决方案。

【参考方案1】：

我发现了问题所在。

我没有使用google cloud sdk，而是运行these commands