Java：JSON -> Protobuf & 反向转换

Posted 2023-02-26

【中文标题】Java：JSON -> Protobuf & 反向转换

【英文标题】：Java: JSON -> Protobuf & back conversion

【发布时间】：2015-04-17 04:45:53

【问题描述】：

我有一个现有系统，它在 GUI 和服务器之间使用 基于protobuf 的通信协议。现在我想添加一些持久性，但目前 protobuf 消息直接转换为第三方自定义对象。

有没有办法将 proto 消息转换为 json，然后可以将其持久化到数据库中。

注意：我不太喜欢将二进制 protobuf 写入数据库的想法，因为有一天它可能无法向后兼容新版本，从而破坏系统。

【问题讨论】：

“因为它有朝一日会变得不向后兼容新版本”到底是什么意思？是什么让您认为 JSON 更有可能保持向后兼容？您是在谈论较新版本的原型模式，还是一般较新版本的协议缓冲区？我的经验是存储协议缓冲区绝对没问题...

请注意，Protocol Buffers 3（目前处于测试阶段）将直接支持 JSON。

另见***.com/questions/2544580/…

【参考方案1】：

正如an answer to a similar question 中所述，由于v3.1.0 这是ProtocolBuffers 支持的功能。对于 Java，包含扩展模块 com.google.protobuf:protobuf-java-util 并使用 JsonFormat，如下所示：

JsonFormat.parser().ignoringUnknownFields().merge(json, yourObjectBuilder);
YourObject value = yourObjectBuilder.build();

【参考方案2】：

我们目前正在使用protobuf-java-format 将我们的 Protobuf 消息（Message 的任何子类）转换为 JSON 格式以通过我们的 Web API 发送。

简单地做：

  JsonFormat.printToString(protoMessage)

【讨论】：

这很有帮助。如果您可以共享 API 以将 JSON 转储转换为协议缓冲区，这也会很有帮助。

这个库似乎已经死了，因为它在 Google 代码档案中，未导出到 GitHub，重要问题仍未解决

@LouisCAD 是的，但我认为它现在在developers.google.com/protocol-buffers/docs/reference/java/com/…

代码位于此处（截至版本 3.4.0）com.google.protobuf.util.JsonFormat.java

在较新的版本中，这似乎已更改为 JsonFormat.printer().print(MessageOrBuilder)。

【参考方案3】：

我不太喜欢将二进制 protobuf 写入数据库的想法，因为它有朝一日会变得不向后兼容新版本并以这种方式破坏系统。

将 protobuf 转换为 JSON 进行存储，然后在加载时返回 protobuf 更可能会产生兼容性问题，因为：

如果执行转换的进程不是使用最新版本的 protobuf 架构构建的，则转换将默默地删除进程不知道的任何字段。存储端和加载端都是如此。 即使使用最新的可用架构，JSON Protobuf 转换在存在不精确的浮点值和类似的极端情况时也可能会丢失。 Protobufs 实际上比 JSON 具有（稍微）更强的向后兼容性保证。与 JSON 一样，如果您添加新字段，旧客户端将忽略它。与 JSON 不同，Protobufs 允许声明一个默认值，这可以使新客户更容易处理否则会丢失该字段的旧数据。这只是一点点优势，但除此之外，Protobuf 和 JSON 具有等效的向后兼容性属性，因此您不会从存储在 JSON 中获得任何向后兼容性优势。

话虽如此，有很多库可以将 protobuf 转换为 JSON，通常构建在 Protobuf 反射接口上（不要与 Java 反射接口混淆；Protobuf 反射由com.google.protobuf.Message 接口提供）。

【讨论】：

如何将return 值从SerializeToString() 存储到TEXT 数据库列？

SerializeToString()，尽管它的名字，不产生文本，它产生二进制编码数据。因此，您需要将其存储到为任意字节正确键入的数据库列中。

@KentonVarda，您对 BI 友好的可查询 DB 存储格式有何建议，其中初始有效负载作为 protobuf 消息获取？简单的方法似乎是protobuf message->Json->MongoDB。是否有更复杂的路径，也许是 flatbuffers ？谢谢

【参考方案4】：

添加到Ophirs 的答案中，JsonFormat 甚至在 protobuf 3.0 之前就可用。但是，实现方式略有不同。

在 Protobuf 3.0+ 中，JsonFormat 类是一个单例，因此执行如下操作

String jsonString = "";
JsonFormat.parser().ignoringUnknownFields().merge(jsonString,yourObjectBuilder);

在 Protobuf 2.5+ 中，以下应该可以工作

String jsonString = "";
JsonFormat jsonFormat = new JsonFormat();
jsonString = jsonFormat.printToString(yourProtobufMessage);

这是我编写的tutorial 的链接，它使用 TypeAdapter 中的 JsonFormat 类，可以注册到 GsonBuilder 对象。然后，您可以使用 Gson 的 toJson 和 fromJson 方法将 proto 数据转换为 Java 并返回。

回复jean。如果我们在一个文件中有 protobuf 数据并且想将其解析为一个 protobuf 消息对象，请使用合并方法 TextFormat 类。看下面的sn-p：

// Let your proto text data be in a file MessageDataAsProto.prototxt
// Read it into string  
String protoDataAsString = FileUtils.readFileToString(new File("MessageDataAsProto.prototxt"));

// Create an object of the message builder
MyMessage.Builder myMsgBuilder = MyMessage.newBuilder();

// Use text format to parse the data into the message builder
TextFormat.merge(protoDataAsString, ExtensionRegistry.getEmptyRegistry(), myMsgBuilder);

// Build the message and return
return myMsgBuilder.build();

【讨论】：

还有这个在 3.0+ 中用于 PROTO 到 JSON：JsonFormat.printer().print(MessageOrBuilder)

【参考方案5】：

泛型解决方案

这是 Json 转换器的通用版本

package com.github.platform.util;

import java.io.IOException;
import java.lang.reflect.InvocationTargetException;
import com.google.protobuf.AbstractMessage.Builder;
import com.google.protobuf.Message;
import com.google.protobuf.MessageOrBuilder;
import com.google.protobuf.util.JsonFormat;

/**
 * Generic ProtoJsonUtil to be used to serialize and deserialize Proto to json
 * 
 * @author [e-mail]
 *
 */
public final class ProtoJsonUtil 

  /**
   * Makes a Json from a given message or builder
   * 
   * @param messageOrBuilder is the instance
   * @return The string representation
   * @throws IOException if any error occurs
   */
  public static String toJson(MessageOrBuilder messageOrBuilder) throws IOException 
    return JsonFormat.printer().print(messageOrBuilder);
  

  /**
   * Makes a new instance of message based on the json and the class
   * @param <T> is the class type
   * @param json is the json instance
   * @param clazz is the class instance
   * @return An instance of T based on the json values
   * @throws IOException if any error occurs
   */
  @SuppressWarnings("unchecked", "rawtypes")
  public static <T extends Message> T fromJson(String json, Class<T> clazz) throws IOException 
    // https://***.com/questions/27642021/calling-parsefrom-method-for-generic-protobuffer-class-in-java/33701202#33701202
    Builder builder = null;
    try 
      // Since we are dealing with a Message type, we can call newBuilder()
      builder = (Builder) clazz.getMethod("newBuilder").invoke(null);

     catch (IllegalAccessException | IllegalArgumentException | InvocationTargetException
        | NoSuchMethodException | SecurityException e) 
      return null;
    

    // The instance is placed into the builder values
    JsonFormat.parser().ignoringUnknownFields().merge(json, builder);

    // the instance will be from the build
    return (T) builder.build();
  

使用起来很简单，如下：

消息实例

GetAllGreetings.Builder allGreetingsBuilder = GetAllGreetings.newBuilder();

allGreetingsBuilder.addGreeting(makeNewGreeting("Marcello", "Hi %s, how are you", Language.EN))
        .addGreeting(makeNewGreeting("John", "Today is hot, %s, get some ice", Language.ES))
        .addGreeting(makeNewGreeting("Mary", "%s, summer is here! Let's go surfing!", Language.PT));

GetAllGreetings allGreetings = allGreetingsBuilder.build();

到 Json 通用

String json = ProtoJsonUtil.toJson(allGreetingsLoaded);
log.info("Json format: " + json);

来自 Json 通用

GetAllGreetings parsed = ProtoJsonUtil.fromJson(json, GetAllGreetings.class);
log.info("The Proto deserialized from Json " + parsed);

【讨论】：

allGreetingsLoaded - 这个对象代表什么？

@ArthTilva 这只是泛型类 GetAllGreetings.class 的引用。

【参考方案6】：

试试JsonFormat.printer().print(MessageOrBuilder)，它看起来很适合proto3。然而，目前还不清楚如何将实际的 protobuf 消息（作为我在 .proto 文件中定义的我选择的 java 包提供）转换为 com.google.protbuf.Message 对象。

【参考方案7】：

对于 protobuf 2.5，使用依赖：

"com.googlecode.protobuf-java-format" % "protobuf-java-format" % "1.2"

然后使用代码：

com.googlecode.protobuf.format.JsonFormat.merge(json, builder)
com.googlecode.protobuf.format.JsonFormat.printToString(proto)

【参考方案8】：

好吧，根据我的发现，没有捷径可走，但不知何故你 只需几个简单的步骤即可实现它

首先你必须声明一个 'ProtobufJsonFormatHttpMessageConverter' 类型的 bean

@Bean  
@Primary  
public ProtobufJsonFormatHttpMessageConverter protobufHttpMessageConverter()   
  return new ProtobufJsonFormatHttpMessageConverter(JsonFormat.parser(), JsonFormat.printer());  
  

然后你可以只写一个像 ResponseBuilder 这样的 Utility 类，因为它默认可以解析请求，但如果没有这些更改，它就无法产生 Json 响应。然后您可以编写一些方法来将响应类型转换为其相关的对象类型。

public static <T> T build(Message message, Class<T> type) 
  Printer printer = JsonFormat.printer();
  Gson gson = new Gson();
  try 
    return gson.fromJson(printer.print(message), type);
   catch (JsonSyntaxException | InvalidProtocolBufferException e) 
    throw new ApiException(HttpStatus.INTERNAL_SERVER_ERROR, "Response   conversion Error", e);
  

然后你可以从你的控制器类中调用这个方法作为最后一行 -

return ResponseBuilder.build(<returned_service_object>, <Type>);

希望这将帮助您以 json 格式实现 protobuf。

【讨论】：

是否有使用上述代码的工作示例 github 项目？

引起：com.fasterxml.jackson.databind.exc.InvalidDefinitionException：没有为类 com.google.protobuf.UnknownFieldSet$Parser 找到序列化程序，也没有发现创建 BeanSerializer 的属性（为避免异常，请禁用SerializationFeature.FAIL_ON_EMPTY_BEANS）（通过引用链：pn.api.protobuf.Proto$SearchResponse["unknownFields"]->com.google.protobuf.UnknownFieldSet["parserForType"]）

【参考方案9】：

这是我的实用程序类，你可以使用：

package <removed>;
import com.google.protobuf.Message;
import com.google.protobuf.MessageOrBuilder;
import com.google.protobuf.util.JsonFormat;
/**
 * Author @espresso ***.
 * Sample use:
 *      Model.Person reqObj = ProtoUtil.toProto(reqJson, Model.Person.getDefaultInstance());
        Model.Person res = personSvc.update(reqObj);
        final String resJson = ProtoUtil.toJson(res);
 **/
public class ProtoUtil 
    public static <T extends Message> String toJson(T obj)
        try
            return JsonFormat.printer().print(obj);
        catch(Exception e)
            throw new RuntimeException("Error converting Proto to json", e);
        
    
   public static <T extends MessageOrBuilder> T toProto(String protoJsonStr, T message)
        try
            Message.Builder builder = message.getDefaultInstanceForType().toBuilder();
            JsonFormat.parser().ignoringUnknownFields().merge(protoJsonStr,builder);
            T out = (T) builder.build();
            return out;
        catch(Exception e)
            throw new RuntimeException(("Error converting Json to proto", e);
        
    

【参考方案10】：

google protobuf 3.7.0 的最新答案： Maven 更改 -- 将其添加到您的 pom.xml 中：

<dependency>
    <groupId>com.google.protobuf</groupId>
    <artifactId>protobuf-java</artifactId>
    <version>3.7.0</version>
</dependency>
<dependency>
    <groupId>com.google.protobuf</groupId>
    <artifactId>protobuf-java-util</artifactId>
    <version>3.7.0</version>
</dependency>
</dependencies>
<build>
    <extensions>
        <extension>
            <groupId>kr.motd.maven</groupId>
            <artifactId>os-maven-plugin</artifactId>
            <version>1.6.0</version>
        </extension>
    </extensions>
    <plugins>
    <plugin>
        <groupId>org.xolstice.maven.plugins</groupId>
        <artifactId>protobuf-maven-plugin</artifactId>
        <version>0.6.1</version>
        <extensions>true</extensions>
        <executions>
            <execution>
                <goals>
                    <goal>compile</goal>
                    <goal>test-compile</goal>
                </goals>
            </execution>
        </executions>
        <configuration>
            <additionalProtoPathElements>
                <additionalProtoPathElement>$project.basedir/src/main/resources</additionalProtoPathElement>
            </additionalProtoPathElements>
            <protocArtifact>com.google.protobuf:protoc:3.7.0:exe:$os.detected.classifier</protocArtifact>
        </configuration>
    </plugin>

这是java类：

public class ProtobufTrial 
  public static void main(String[] args) throws Exception 
    String jsonString = "";
    MyProto.MyEventMsg.Builder builder = MyProto.MyEventMsg.newBuilder();
    JsonFormat.parser().ignoringUnknownFields().merge(jsonString, builder);
    MyProto.MyEventMsg value = builder.build();

    // This is for printing the proto in string format
    System.out.println(JsonFormat.printer().print(value));