脉冲星压缩/减压循环

Posted 2023-02-18

【中文标题】脉冲星压缩/减压循环

【英文标题】：pulsar compression/decompression cycle

【发布时间】：2022-01-12 06:23:20

【问题描述】：

我很好奇脉冲星中压缩的工作原理。来自公共文档，它指出“您可以压缩生产者在运输过程中发布的消息” 这是否意味着客户端压缩数据并且数据在到达代理时被解压缩，因此解压缩的数据被持久化并稍后被消费者使用？或者这意味着压缩发生在端到端，而解压缩发生在消费者端？

【参考方案1】：

压缩和解压在客户端完成，对代理透明。消息被压缩存储到分类帐中。压缩细节（使用的算法，...）是消息元数据的一部分。 同样的原则也适用于批处理和加密。

【讨论】：

你能指出我的任何资源吗？我无法在公共文档中找到相关信息

这方面的文档不多。可以在这里看到消息元数据中有压缩相关的字段：pulsar.apache.org/docs/en/develop-binary-protocol/…。

在客户端源代码中，payload在此处压缩：github.com/apache/pulsar/blob/…，在此处未压缩：github.com/apache/pulsar/blob/…