尝试在 Google PubSub python 中创建主题订阅时出错

Posted 2023-02-16

【中文标题】尝试在 Google PubSub python 中创建主题订阅时出错

【英文标题】：Error in trying to create a topic subscription in Google PubSub python

【发布时间】：2021-03-17 01:40:59

【问题描述】：

我正在尝试在 python 中使用 Google 的 pubsub_v1 库创建对主题的订阅。我已经使用库成功创建了一个主题（创建后我可以在云控制台中看到它）。但是，我在尝试创建订阅时遇到问题。我试图解决this question 中给出的解决方案，但无济于事。这是我的订阅代码：

from google.cloud import pubsub_v1 as pubsub

topic_name = 'logs'
sub_name = 'logs-consumer'
project_name = 'my-project' # valid project name

subscriber = pubsub.SubscriberClient()
topic_path = subscriber.topic_path(project_name, topic_name)
subscription_path = subscriber.subscription_path(project_name, sub_name)

# Wrap the subscriber in a 'with' block to automatically call close() to
# close the underlying gRPC channel when done.
with subscriber:

    subscription = subscriber.create_subscription(
        request="name": subscription_path, "topic": topic_path
    )

每当我运行此代码时，我都会收到以下错误：

Traceback (most recent call last):
  File "/Users/zacharymcgrath/Library/Python/3.7/lib/python/site-packages/google/api_core/grpc_helpers.py", line 57, in error_remapped_callable
    return callable_(*args, **kwargs)
  File "/Users/zacharymcgrath/Library/Python/3.7/lib/python/site-packages/grpc/_channel.py", line 826, in __call__
    return _end_unary_response_blocking(state, call, False, None)
  File "/Users/zacharymcgrath/Library/Python/3.7/lib/python/site-packages/grpc/_channel.py", line 729, in _end_unary_response_blocking
    raise _InactiveRpcError(state)
grpc._channel._InactiveRpcError: <_InactiveRpcError of RPC that terminated with:
    status = StatusCode.INVALID_ARGUMENT
    details = "Project 'project:gcp-python-291817' not found or deleted."
    debug_error_string = ""created":"@1607133732.705528000","description":"Error received from peer ipv6:[2607:f8b0:400f:801::200a]:443","file":"src/core/lib/surface/call.cc","file_line":1062,"grpc_message":"Project 'project:gcp-python-291817' not found or deleted.","grpc_status":3"
>

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "logger_consumer_GCP.py", line 28, in <module>
    request="name": subscription_path, "topic": topic_path
  File "/Users/zacharymcgrath/Library/Python/3.7/lib/python/site-packages/google/cloud/pubsub_v1/_gapic.py", line 40, in <lambda>
    fx = lambda self, *a, **kw: wrapped_fx(self.api, *a, **kw)  # noqa
  File "/Users/zacharymcgrath/Library/Python/3.7/lib/python/site-packages/google/pubsub_v1/services/subscriber/client.py", line 526, in create_subscription
    response = rpc(request, retry=retry, timeout=timeout, metadata=metadata,)
  File "/Users/zacharymcgrath/Library/Python/3.7/lib/python/site-packages/google/api_core/gapic_v1/method.py", line 145, in __call__
    return wrapped_func(*args, **kwargs)
  File "/Users/zacharymcgrath/Library/Python/3.7/lib/python/site-packages/google/api_core/retry.py", line 286, in retry_wrapped_func
    on_error=on_error,
  File "/Users/zacharymcgrath/Library/Python/3.7/lib/python/site-packages/google/api_core/retry.py", line 184, in retry_target
    return target()
  File "/Users/zacharymcgrath/Library/Python/3.7/lib/python/site-packages/google/api_core/grpc_helpers.py", line 59, in error_remapped_callable
    six.raise_from(exceptions.from_grpc_error(exc), exc)
  File "<string>", line 3, in raise_from
google.api_core.exceptions.InvalidArgument: 400 Project 'project:gcp-python-291817' not found or deleted.

我认为可能是我的project gcloud 变量发生了某种变化，并且库使用了环境变量，但我仔细检查了它是正确的。我不确定我在做什么与上面提到的问题不同。谢谢。

更新

来自 cmets 的一些有用信息：

gcp-python-291817 不是项目名称 项目名称位于发布者和订阅者都从中读取的配置文件中。发布者在从文件中读取项目名称并发布消息时没有任何问题 我在此项目中有一个名为 gcp-python 的 VM 实例的 ssh 配置，但不久前被删除了 清除 gcloud 缓存和 gsutils 缓存也没有解决问题

【问题讨论】：

项目 gcp-python-291817 不存在，或者您可能没有 IAM 角色（权限）来访问它。

供参考 gcp-python-291817 不是项目名称

不管它叫什么，你都在错误地命名项目。

如果你看下面@DazWilkin 的评论，我打印出了主题和订阅的完整路径，并且正确的项目名称在字符串中。项目名称在配置文件中。发布者和订阅者文件都从这里读取，发布者没有问题

你的问题在哪里？从这些链接开始：***.com/help/minimal-reproducible-example AND ***.com/help/how-to-ask

【参考方案1】：

我发现了问题。我重新跑了

gcloud auth application-default login  

并确保 GOOGLE_APPLICATION_CREDENTIALS 指向新的凭证 json 文件并且它有效。我一定在某个时候弄乱了凭据文件。感谢您的帮助！

【讨论】：

您好！感谢您添加答案，请记住您可以将答案标记为正确。 ***.com/help/self-answer

【参考方案2】：

参见documentation 和例如Subscribing

主题|订阅名称不仅仅是简单的名称，而是以project/、项目ID的值等为前缀。

topic_name = 'projects/project_id/topics/topic'...
subscription_name = 'projects/project_id/subscriptions/sub'...

然后，只需按照文档中的代码进行操作即可：

subscriber.create_subscription(
    name=subscription_name, topic=topic_name)

也许试试这个：

PROJECT=[[YOUR-PROJECT]]

gcloud projects list \
--filter=projectid=$PROJECT \
--format="value(projectNumber)"
[[VALUE]]

PROJECT 的值与您在代码中使用的值相同。

你应该得到一个值回来。

那么你可以：

gcloud pubsub topics list --project=$PROJECT
gcloud pubsub subscriptions list --project=$PROJECT

工作样本：

创建项目，启用发布/订阅等

gcloud projects create $PROJECT
BILLING=$(gcloud beta billing accounts list --format="value(name)")
gcloud beta billing projects link $PROJECT \
--billing-account=$BILLING

gcloud services enable pubsub.googleapis.com \
--project=$PROJECT

ROBOT="tester"
EMAIL="$ROBOT@$PROJECT.iam.gserviceaccount.com"

gcloud iam service-accounts create $ROBOT \
--project=$PROJECT

gcloud iam service-accounts keys create $PWD/$ROBOT.json \
--iam-account=$EMAIL \
--project=$PROJECT

gcloud projects add-iam-policy-binding $PROJECT \
--role=roles/pubsub.editor \
--member=serviceAccount:$EMAIL

python3 -m venv venv
source venv/bin/activate
python3 -m pip install google-cloud-pubsub

export PROJECT
export GOOGLE_APPLICATION_CREDENTIALS=$PWD/tester.json
python3 main.py

还有：

import os
from google.cloud import pubsub_v1

publisher = pubsub_v1.PublisherClient()

topic_name = "freddie"
topic_path = publisher.topic_path(os.getenv("PROJECT"), topic_name)
topic = publisher.create_topic(request="name": topic_path)

publisher.publish(topic_path, b"message", spam="eggs")

subscriber = pubsub_v1.SubscriberClient()

subscription_name="cookie"
subscription_path = subscriber.subscription_path(os.getenv("PROJECT"),subscription_name)
subscription = subscriber.create_subscription(request="name": subscription_path, "topic": topic_path)

def callback(message):
    print(message.data)
    message.ack()

future = subscriber.subscribe(subscription_path, callback)

【讨论】：

行topic_path = subscriber.topic_path(project_name, topic_name) subscription_path = subscriber.subscription_path(project_name, sub_name) 就是这样做的。它是制作完整路径而不是模板字符串的“花哨”方式

吃了图书馆的一部分？如果您有信心，他们正在生成正确的完全限定名称，您应该能够按所示创建子

是的，我将它们打印出来以确保显示完整的字符串，就像你所拥有的那样

好吧...好奇心被激起。我要启动旧笔记本电脑。给我 15

我还删除了我的主目录中的 gcloud 缓存，也没有成功