获取 Google Cloud PubSub 中单条消息的大小

Posted 2023-02-16

【中文标题】获取 Google Cloud PubSub 中单条消息的大小

【英文标题】：Get the size of a single message in Google Cloud PubSub

【发布时间】：2021-05-18 06:00:34

【问题描述】：

我有一个设置，我将消息发布到Google Cloud PubSub 服务。

我希望获取我发布到 PubSub 的每条消息的大小。因此，为此，我确定了以下方法（注意：我使用 Python 客户端进行发布和订阅，按照文档中介绍的逐行实现）：

使用“Monitoring”功能从 Google Cloud Console 查看消息计数 创建一个pull subscription client 并在回调函数中使用message.size 查看从请求主题中提取的消息的大小。 估计publishing 之前的消息大小，方法是按照PubSub message schema 将它们转换为JSON 并使用sys.getsizeof()

对于我使用 Python 发布者客户端发布的如下示例消息：

  "data": 'Test_message',
  "attributes": 
    'dummyField1': 'dummyFieldValue1',
    'dummyField2': 'dummyFieldValue2'
  

，我从订阅客户端中的以下回调函数中得到message.size 输出的大小为101：

def callback(message):
    print(f"Received message.data.")
    if message.attributes:
        print("Attributes:")
        for key in message.attributes:
            value = message.attributes.get(key)
            print(f"key: value")
    print(message.size)
    message.ack()

而 Cloud Console 监控上显示的大小约为 79 B。

所以这些是我的问题：

为什么同一条消息的大小不同？

message.size 的输出是否以字节为单位？

如何在使用 python 客户端发布之前查看消息的大小？

如何在 Cloud Console 上查看单个消息的大小，而不是在给定时间范围内的总大小度量（我可以在监控部分找到）？

【问题讨论】：

根据documentation，message.size是Return the size of the underlying message, in bytes的一个属性。关于您关于 message_sizes 值的问题，该指标表示Distribution of publish message sizes (in bytes). It is Sampled every 60 seconds. After sampling, data is not visible for up to 240 seconds、link。你能告诉我你想在发布之前检查消息大小的原因吗？

另外，message.size 和 'message_sizes`（如上所述）能否满足您的需求？

@AlexandreMoraes 我想知道正在发布的消息的大小，以便在指定天数内以指定速率发布消息时估计数据流。这反过来又可以估计它的成本，以及它是否会保持在免费套餐内。

根据 Python 库文档，您只有 message.size 作为订阅者的消息属性。否则，您将不得不使用 Cloud Monitoring 和警报，如果您想监控配额支出，这将非常有用。所有这些信息对您有帮助吗？

是的，请。这样就好了。

【参考方案1】：

为了进一步为社区做出贡献，我将我们的讨论总结为一个答案。

关于message.size，它是来自订阅者客户端消息的属性。另外，根据documentation，其定义为：

返回底层消息的大小，以字节为单位

因此在发布之前您将无法使用它。

另一方面，message_size 是 Google Cloud Metrics 中的一个指标，供 Cloud Monitoring here 使用。

最后，讨论的最后一个主题是您的目标是监控您的配额支出，这样您就可以留在免费套餐中。因此，最好的选择是使用 Cloud Monitoring 并根据 pubsub.googleapis.com/topic/byte_cost 等指标设置警报。以下是一些链接，您可以在其中找到更多相关信息：Quota utilisation、Alert event based、Alert Policies。

【参考方案2】：

关于第三个关于在发布前查看消息大小的问题，计费消息大小是消息数据、属性（键加值）、时间戳的 20 个字节和message_id 的一些字节的总和。请参阅Cloud Pub/Sub Pricing 指南。请注意，无论消息大小如何，至少 1000 字节都是可计费的，因此如果您的消息可能小于 1000 字节，那么拥有良好的batch settings 很重要。 message_id 分配给服务器端，不保证一定大小，但它由publish call as a future 返回，因此您可以查看示例。这应该允许您在发布者客户端中获得相当准确的消息成本估计。请注意，您还可以使用 monitoring client library 从 Python 客户端中读取 Cloud Monitoring 指标。

关于您的第四个问题，无法从分布指标中提取单个数据点（除非您在查询的时间段内仅发布了一条消息，在这种情况下，平均值会告诉您该条消息的大小） .

【讨论】：

感谢您的信息！