跨平台 Protobuf 序列化

Posted 2023-02-16

【中文标题】跨平台 Protobuf 序列化

【英文标题】：Cross-Platform Protobuf Serialization

【发布时间】：2015-03-16 12:08:53

【问题描述】：

我有三个通过 ZeroMQ 进行通信的应用程序，它们都执行不同的操作。不同的应用如下：

第一个是 C++ 应用程序，它是一个“努力工作”的引擎，它将 Protobuf 消息作为来自客户端的请求，执行一些工作，并将 Protobuf 消息返回给该客户端（或任何人）已连接，请求/回复模式）。这使用 0MQ 版本 4.0.4 并使用 protobuf-2.6.0，我们自己构建了所需的头文件，Protobuf 类是由 protoc 创建的。

其次，我有一个 Java 代码并且是一个数据提供者，它使用 jeromq-0.3.4.jar 进行 ZeroMQ 消息传递，使用 protobuf-java-2.6.1.jar 进行 Protobuf 序列化等。

1234563消息传递。

现在，C++ Java 运行良好且没有问题，但是，C++ C# 无法正常运行。当我通过

从 C# 向 C++“服务器”发送基本请求时

using (NetMQContext context = NetMQContext.Create())
using (var requestSocket = context.CreateRequestSocket())

    requestSocket.Connect(_requestAddress); // "tcp://127.0.0.1:6500"
    requestSocket.Send(mux.ToByteArray<Taurus.FeedMux>());

与

public static byte[] ToByteArray<T>(this T o) 
    where T : ProtoBuf.IExtensible

    if (o == null)
        return null;
    using (MemoryStream ms = new MemoryStream())
    
        ProtoBuf.Serializer.Serialize(ms, o);
        return ms.ToArray();
    

C++ 代码接收到消息，但尽管设置了强制

Taurus.FeedMux mux = new Taurus.FeedMux();
mux.type = Taurus.FeedMux.Type.OXX;
mux.oxx = Oxx.GetOxx();

我在 C++ 应用程序中遇到错误

[libprotobuff ERROR ..\\message_lite.cc:123] 无法解析“Taurus.FeedMux”类型的消息，因为它缺少必填字段：类型

但我显然设置了type，并且在 C++ 代码中，似乎设置了类型（使用调试器检查反序列化对象）。我尝试了两个不同的 Protobuf 库（一个是我构建的，一个是通过 NuGet 构建的 Mark Gravell 的库），因为我认为这是一个序列化问题，但这并不能解决这个问题。

我还尝试了 clrZMQ 包装器库以及 C# 原生 NetMQ 库，这同样无济于事，使用上述任意组合接收消息，但接收到的似乎在某些方面已损坏。

这里可能出了什么问题，还有什么我没有提到的我应该做的事情吗？

【参考方案1】：

我的猜测是type 被视为optional，而在 C++ 中它被标记为required。我看不到你的模型是如何在 C# 中定义的，但是如果你使用 protobuf-net 的属性，你可以通过IsRequired 属性成员强制它序列化：

[ProtoMember(42, IsRequired = true)] // change the number!
public Taurus.FeedMux.Type type get;set;

【讨论】：

非常感谢您抽空马克。任何途径都值得赞赏，因为我花了很长时间试图弄清楚这一点。我会让你知道我的进展...再次感谢。

嗨，Marc，非常感谢您抽出宝贵的时间。我已经编辑了问题以显示生成类的脚本，你几乎是正确的，有不匹配的类。我只是想知道您是否知道我可以如何使用 protoc 执行与 -p:detectMissing 等效的操作，我似乎无法在文档中找到相关选项。

我在这里问了一个额外的问题...***.com/questions/29081021/…

@Marc Gravell：“更改数字”是否暗示使用 protobuf-net 字段的重新编号作为对序列化对象进行版本控制的一种方式？

@user3902302 不，我只是说我使用 42 作为占位符，因为我不知道他们模型中的字段编号 - 所以：使用正确的，而不是我的占位符。 Protobuf 被设计为非常容易地版本化 - 你不应该需要在版本之间使用不同的字段编号（这样做会很不寻常和尴尬）