Google Pubsub Python 客户端库订阅者随机崩溃

Posted

技术标签:

【中文标题】Google Pubsub Python 客户端库订阅者随机崩溃【英文标题】:Google Pubsub Python Client library subscriber crashes randomly 【发布时间】:2018-08-27 02:30:40 【问题描述】:

有人可以帮助我使用 Google Pubsub Python 客户端库吗?我正在密切关注https://cloud.google.com/pubsub/docs/pull#pubsub-pull-messages-async-python 的教程,并且似乎遇到了无提示的错误。我有一个名为“sendmessage.py”的简单脚本,它发送一条附加了随机数的文本消息,以便我可以区分消息。订阅者代码在单独的计算引擎实例上运行,如下所示:

from google.cloud import pubsub_v1

def callback(message):
    print('Received message: '.format(message))
    message.ack()

def listen_for_errors():

    subscriber = pubsub_v1.SubscriberClient()
    subscription_path = subscriber.subscription_path('<my-project-name-here>', 'test-subscription')

    subscription = subscriber.subscribe(subscription_path, callback=callback)

    try:
        subscription.future.result()
    except Exception as e:
        print(
            'Listening for messages on  threw an Exception: .'.format( 'test-subscription', e))
        raise

附上在两个计算实例上运行的发送/接收的屏幕截图。 系统似乎在第一分钟左右工作正常,然后订阅者似乎因以下错误消息而跳闸:

Exception in thread Thread-ConsumeBidirectionalStream:
Traceback (most recent call last):
  File "/usr/lib/python2.7/threading.py", line 801, in __bootstrap_inner
    self.run()
  File "/usr/lib/python2.7/threading.py", line 754, in run
    self.__target(*self.__args, **self.__kwargs)
  File "/usr/local/lib/python2.7/dist-packages/google/cloud/pubsub_v1/subscribe
r/_consumer.py", line 363, in _blocking_consume
    request_generator, response_generator)
  File "/usr/local/lib/python2.7/dist-packages/google/cloud/pubsub_v1/subscribe
r/_consumer.py", line 275, in _stop_request_generator
    if not response_generator.done():
AttributeError: '_StreamingResponseIterator' object has no attribute 'done'

即使没有发送任何消息,也会在短时间内(不到几分钟)后发生这种情况。一旦它崩溃了,就无法恢复 - 例如。通过按回车键、输入 quit()、按 CTRL+C 等,所以我必须关闭实例并重新开始。

我觉得有点奇怪,我如此密切地关注教程,但在我的代码运行时却出现了无提示的错误。请有人指出我出错的地方或建议一个强大的解决方法来忽略错误并继续收听消息吗?

向任何可以提供帮助的人致以诚挚的问候和感谢,

保罗

【问题讨论】:

【参考方案1】:

我开始养成回答自己问题的习惯(这可能意味着我应该在发帖之前进行更多研究或更加努力地尝试!),但我相信我已经解决了上述问题。我想我会在这里发布答案,以防其他人好奇或遇到同样的问题,但如果版主更愿意删除该主题,请这样做。

在发布我的问题后不久,我尝试在自己的计算机上运行相同的脚本,发现它们非常稳定,这让我得出结论,问题出在计算引擎实例的设置方式上。

我的原始引导代码包括以下几行:

sudo apt-get update
sudo apt-get -yq install python-pip
sudo apt-get install python-dev
sudo pip install --upgrade google-cloud-storage
sudo pip install --upgrade google-cloud-pubsub

我想知道最后一行是否应该引用 pubsub_v1,但无论如何我将引导脚本代码更改为:

sudo apt-get update
sudo apt-get -yq install python-pip
sudo pip install --upgrade google-cloud

而且问题似乎已经解决了。

【讨论】:

以上是关于Google Pubsub Python 客户端库订阅者随机崩溃的主要内容,如果未能解决你的问题,请参考以下文章

尝试在 Google PubSub python 中创建主题订阅时出错

获取 Google Cloud PubSub 中单条消息的大小

GCP Pubsub Nodejs 客户端承诺挂起,客户端冻结,没有错误

使用 grpc 和 protobuf(生成的客户端)通过 HTTP 2 访问 Google Cloud Pubsub

pubsub.NewClient 方法卡在 GKE golang

apache beam PubSub 在普通 pubsub 客户端库中读取 withIdAttribute 的替代方案