protobuf和json的一些整理

Posted 2023-03-18

参考技术A 因为之前项目一直用的是google的protobuf(以下称pb)用来做传输的格式 具体说 就是用这个来序列化数据 为的就是传输速度和体积 

这张是效率对比图 （从别人那A来的） 可以明显看出 pb的效率极高 

可惜越是方便的东西 越是好用的东西 开始总不是那么顺手 

pb需要编写 .proto文件 然后用google的编译器进行编译 (可以编译成很多语言 比如 c++和java等) 

```

package tutorial;

option java_package = "com.example.tutorial";

option java_outer_classname = "AddressBookProtos";

message Person

required string name = 1;

required int32 id = 2;

optional string email = 3;

enum PhoneType

MOBILE = 0;

HOME = 1;

WORK = 2;



message PhoneNumber

required string number = 1;

optional PhoneType type = 2 [default = HOME];



repeated PhoneNumber phones = 4;



message AddressBook

repeated Person people = 1;



```

这是pb文件的写法 不详细描述 请翻墙看 https://developers.google.com/protocol-buffers/docs/javatutorial 

刚开始走了很多歪路  因为其实百度 pb的资料 大多数都是从googl官网A下来 教你怎么编译的 然后有一些基础的写法 比如  required repeat optional 等 。。就是一些基础的用法 这并不能满足我们的需求 

因为你如果要在java里面使用  （我用的最多的是给手机端写接口） ，那么你知道以上的并不能使用 需要知道更多的东西 比如 rpc 和 grpc  我之前一直不明白 看人家说的好高端

其实你只要涉及到写接口  那么你其实和rpc接触过很多很多  （请自行百度rpc） 

RPC（Remote Procedure Call Protocol）—— 远程过程调用 协议 

我粗鄙的理解就是  c/s  当远程的客户端（ios或者 android ）调用你部署在服务器上(可以是tomcat跑 或者 jetty 或者 。。。)的接口  那么就是 rpc 至于grpc 。。还是google吧  其实就是用pb来做序列化的 。。 其他还有一些变化 

————————

我一直在用pb 然而ios的同事不会去用。。我也不知道该怎么和他说 (只会写pb的接口)所以就准备改成json的。然后碰到一系列蛋疼的问题 比如 乱码 比如 content-type 不是 application/json ，把我弄的欲仙欲死 

现在开始说 换成json后出现的问题 首先是乱码 我在spring-mvc.xml里面已经配置了 消息转化器 并且 设置为 utf-8 然而还是 乱码 后来 web.xml里面也设置了字符过滤 还是不行 

后来百度n多资料得知 其实是 spring框架内 StringHttpMessageConverter 类中，默认采用的字符集是 ISO-8859-1 。 而我接口返回的都是 string 自然而然乱码 。其实你只要封装一个类来做返回类型 就不会出现这样的问题 这种问题只有在string的时候才会出现 

然而知道了问题的我 还是想返回string 因为感觉比较简洁 （其实不然。。。） ， 然后看解决方法  

网上搜集的文章 http://blog.csdn.net/wangyangbto/article/details/48804155

                          http://blog.csdn.net/sen19910708/article/details/49933213

大致是两种 一种是重写那个 StringHttpMessageConverter 类 。

还有一种是 修改 spring配置里面的消息配置器 直接修改为 utf-8 (试过好像不行)

这个问题解决后  让ios测试接口 。。和我说协议不对 我一看 

。。。 无语了。。然后开始找问题 。后来看到 原来你返回json 使用的是 @responsebody 这个注解 然而这个注解 会自动根据 浏览器 响应时候的 accept的第一个值作为 content-type。 如果你不指定的话

然后就只能在requestmapping上加上 @RequestMapping(value ="/test",produces="application/json;charset=UTF-8")

然后就不会出现这个问题了。。 但是难道每个都要这样写吗 我找遍了百度 好像还是不行

认命？ 其实可以写个 Inteceptor 然后在 spring配置里面加载 达到全局效果

————————————

暂时告一段落  其实   content-type的格式 不代表你所使用的技术 ios和我说 你怎么传回来的是 text/html 这都没人用了 如果你用这个 我还要json干嘛  其实这是误区  content-type只是你看的格式 不代表你传输中的序列化的格式   两者并无多大关系   不过他的网络协议框架 只会 json 那干后台的我们就只能改了。。 

还有处理时间戳 办法很多 可以在字段上 注解  前提是你用的是 fastjson  ， jackson也是可以的 

关于 pb的 其他东西 https://github.com/jhunters/jprotobuf  (这玩意好像是和百度有关系 好像是百度的人写的。。)不需要在写pb文件 可以直接实体类上 直接注解 达到一样的效果 

Java：JSON -> Protobuf & 反向转换

【中文标题】Java：JSON -> Protobuf & 反向转换

【英文标题】：Java: JSON -> Protobuf & back conversion

【发布时间】：2015-04-17 04:45:53

【问题描述】：

我有一个现有系统，它在 GUI 和服务器之间使用 基于protobuf 的通信协议。现在我想添加一些持久性，但目前 protobuf 消息直接转换为第三方自定义对象。

有没有办法将 proto 消息转换为 json，然后可以将其持久化到数据库中。

注意：我不太喜欢将二进制 protobuf 写入数据库的想法，因为有一天它可能无法向后兼容新版本，从而破坏系统。

【问题讨论】：

“因为它有朝一日会变得不向后兼容新版本”到底是什么意思？是什么让您认为 JSON 更有可能保持向后兼容？您是在谈论较新版本的原型模式，还是一般较新版本的协议缓冲区？我的经验是存储协议缓冲区绝对没问题...

请注意，Protocol Buffers 3（目前处于测试阶段）将直接支持 JSON。

另见***.com/questions/2544580/…

【参考方案1】：

正如an answer to a similar question 中所述，由于v3.1.0 这是ProtocolBuffers 支持的功能。对于 Java，包含扩展模块 com.google.protobuf:protobuf-java-util 并使用 JsonFormat，如下所示：

JsonFormat.parser().ignoringUnknownFields().merge(json, yourObjectBuilder);
YourObject value = yourObjectBuilder.build();

【参考方案2】：

我们目前正在使用protobuf-java-format 将我们的 Protobuf 消息（Message 的任何子类）转换为 JSON 格式以通过我们的 Web API 发送。

简单地做：

  JsonFormat.printToString(protoMessage)

【讨论】：

这很有帮助。如果您可以共享 API 以将 JSON 转储转换为协议缓冲区，这也会很有帮助。

这个库似乎已经死了，因为它在 Google 代码档案中，未导出到 GitHub，重要问题仍未解决

@LouisCAD 是的，但我认为它现在在developers.google.com/protocol-buffers/docs/reference/java/com/…

代码位于此处（截至版本 3.4.0）com.google.protobuf.util.JsonFormat.java

在较新的版本中，这似乎已更改为 JsonFormat.printer().print(MessageOrBuilder)。

【参考方案3】：

我不太喜欢将二进制 protobuf 写入数据库的想法，因为它有朝一日会变得不向后兼容新版本并以这种方式破坏系统。

将 protobuf 转换为 JSON 进行存储，然后在加载时返回 protobuf 更可能会产生兼容性问题，因为：

如果执行转换的进程不是使用最新版本的 protobuf 架构构建的，则转换将默默地删除进程不知道的任何字段。存储端和加载端都是如此。 即使使用最新的可用架构，JSON Protobuf 转换在存在不精确的浮点值和类似的极端情况时也可能会丢失。 Protobufs 实际上比 JSON 具有（稍微）更强的向后兼容性保证。与 JSON 一样，如果您添加新字段，旧客户端将忽略它。与 JSON 不同，Protobufs 允许声明一个默认值，这可以使新客户更容易处理否则会丢失该字段的旧数据。这只是一点点优势，但除此之外，Protobuf 和 JSON 具有等效的向后兼容性属性，因此您不会从存储在 JSON 中获得任何向后兼容性优势。

话虽如此，有很多库可以将 protobuf 转换为 JSON，通常构建在 Protobuf 反射接口上（不要与 Java 反射接口混淆；Protobuf 反射由com.google.protobuf.Message 接口提供）。

【讨论】：

如何将return 值从SerializeToString() 存储到TEXT 数据库列？

SerializeToString()，尽管它的名字，不产生文本，它产生二进制编码数据。因此，您需要将其存储到为任意字节正确键入的数据库列中。

@KentonVarda，您对 BI 友好的可查询 DB 存储格式有何建议，其中初始有效负载作为 protobuf 消息获取？简单的方法似乎是protobuf message->Json->MongoDB。是否有更复杂的路径，也许是 flatbuffers ？谢谢

【参考方案4】：

添加到Ophirs 的答案中，JsonFormat 甚至在 protobuf 3.0 之前就可用。但是，实现方式略有不同。

在 Protobuf 3.0+ 中，JsonFormat 类是一个单例，因此执行如下操作

String jsonString = "";
JsonFormat.parser().ignoringUnknownFields().merge(jsonString,yourObjectBuilder);

在 Protobuf 2.5+ 中，以下应该可以工作

String jsonString = "";
JsonFormat jsonFormat = new JsonFormat();
jsonString = jsonFormat.printToString(yourProtobufMessage);

这是我编写的tutorial 的链接，它使用 TypeAdapter 中的 JsonFormat 类，可以注册到 GsonBuilder 对象。然后，您可以使用 Gson 的 toJson 和 fromJson 方法将 proto 数据转换为 Java 并返回。

回复jean。如果我们在一个文件中有 protobuf 数据并且想将其解析为一个 protobuf 消息对象，请使用合并方法 TextFormat 类。看下面的sn-p：

// Let your proto text data be in a file MessageDataAsProto.prototxt
// Read it into string  
String protoDataAsString = FileUtils.readFileToString(new File("MessageDataAsProto.prototxt"));

// Create an object of the message builder
MyMessage.Builder myMsgBuilder = MyMessage.newBuilder();

// Use text format to parse the data into the message builder
TextFormat.merge(protoDataAsString, ExtensionRegistry.getEmptyRegistry(), myMsgBuilder);

// Build the message and return
return myMsgBuilder.build();

【讨论】：

还有这个在 3.0+ 中用于 PROTO 到 JSON：JsonFormat.printer().print(MessageOrBuilder)

【参考方案5】：

泛型解决方案

这是 Json 转换器的通用版本

package com.github.platform.util;

import java.io.IOException;
import java.lang.reflect.InvocationTargetException;
import com.google.protobuf.AbstractMessage.Builder;
import com.google.protobuf.Message;
import com.google.protobuf.MessageOrBuilder;
import com.google.protobuf.util.JsonFormat;

/**
 * Generic ProtoJsonUtil to be used to serialize and deserialize Proto to json
 * 
 * @author [e-mail]
 *
 */
public final class ProtoJsonUtil 

  /**
   * Makes a Json from a given message or builder
   * 
   * @param messageOrBuilder is the instance
   * @return The string representation
   * @throws IOException if any error occurs
   */
  public static String toJson(MessageOrBuilder messageOrBuilder) throws IOException 
    return JsonFormat.printer().print(messageOrBuilder);
  

  /**
   * Makes a new instance of message based on the json and the class
   * @param <T> is the class type
   * @param json is the json instance
   * @param clazz is the class instance
   * @return An instance of T based on the json values
   * @throws IOException if any error occurs
   */
  @SuppressWarnings("unchecked", "rawtypes")
  public static <T extends Message> T fromJson(String json, Class<T> clazz) throws IOException 
    // https://***.com/questions/27642021/calling-parsefrom-method-for-generic-protobuffer-class-in-java/33701202#33701202
    Builder builder = null;
    try 
      // Since we are dealing with a Message type, we can call newBuilder()
      builder = (Builder) clazz.getMethod("newBuilder").invoke(null);

     catch (IllegalAccessException | IllegalArgumentException | InvocationTargetException
        | NoSuchMethodException | SecurityException e) 
      return null;
    

    // The instance is placed into the builder values
    JsonFormat.parser().ignoringUnknownFields().merge(json, builder);

    // the instance will be from the build
    return (T) builder.build();
  

使用起来很简单，如下：

消息实例

GetAllGreetings.Builder allGreetingsBuilder = GetAllGreetings.newBuilder();

allGreetingsBuilder.addGreeting(makeNewGreeting("Marcello", "Hi %s, how are you", Language.EN))
        .addGreeting(makeNewGreeting("John", "Today is hot, %s, get some ice", Language.ES))
        .addGreeting(makeNewGreeting("Mary", "%s, summer is here! Let's go surfing!", Language.PT));

GetAllGreetings allGreetings = allGreetingsBuilder.build();

到 Json 通用

String json = ProtoJsonUtil.toJson(allGreetingsLoaded);
log.info("Json format: " + json);

来自 Json 通用

GetAllGreetings parsed = ProtoJsonUtil.fromJson(json, GetAllGreetings.class);
log.info("The Proto deserialized from Json " + parsed);

【讨论】：

allGreetingsLoaded - 这个对象代表什么？

@ArthTilva 这只是泛型类 GetAllGreetings.class 的引用。

【参考方案6】：

试试JsonFormat.printer().print(MessageOrBuilder)，它看起来很适合proto3。然而，目前还不清楚如何将实际的 protobuf 消息（作为我在 .proto 文件中定义的我选择的 java 包提供）转换为 com.google.protbuf.Message 对象。

【参考方案7】：

对于 protobuf 2.5，使用依赖：

"com.googlecode.protobuf-java-format" % "protobuf-java-format" % "1.2"

然后使用代码：

com.googlecode.protobuf.format.JsonFormat.merge(json, builder)
com.googlecode.protobuf.format.JsonFormat.printToString(proto)

【参考方案8】：

好吧，根据我的发现，没有捷径可走，但不知何故你 只需几个简单的步骤即可实现它

首先你必须声明一个 'ProtobufJsonFormatHttpMessageConverter' 类型的 bean

@Bean  
@Primary  
public ProtobufJsonFormatHttpMessageConverter protobufHttpMessageConverter()   
  return new ProtobufJsonFormatHttpMessageConverter(JsonFormat.parser(), JsonFormat.printer());  
  

然后你可以只写一个像 ResponseBuilder 这样的 Utility 类，因为它默认可以解析请求，但如果没有这些更改，它就无法产生 Json 响应。然后您可以编写一些方法来将响应类型转换为其相关的对象类型。

public static <T> T build(Message message, Class<T> type) 
  Printer printer = JsonFormat.printer();
  Gson gson = new Gson();
  try 
    return gson.fromJson(printer.print(message), type);
   catch (JsonSyntaxException | InvalidProtocolBufferException e) 
    throw new ApiException(HttpStatus.INTERNAL_SERVER_ERROR, "Response   conversion Error", e);
  

然后你可以从你的控制器类中调用这个方法作为最后一行 -

return ResponseBuilder.build(<returned_service_object>, <Type>);

希望这将帮助您以 json 格式实现 protobuf。

【讨论】：

是否有使用上述代码的工作示例 github 项目？

引起：com.fasterxml.jackson.databind.exc.InvalidDefinitionException：没有为类 com.google.protobuf.UnknownFieldSet$Parser 找到序列化程序，也没有发现创建 BeanSerializer 的属性（为避免异常，请禁用SerializationFeature.FAIL_ON_EMPTY_BEANS）（通过引用链：pn.api.protobuf.Proto$SearchResponse["unknownFields"]->com.google.protobuf.UnknownFieldSet["parserForType"]）

【参考方案9】：

这是我的实用程序类，你可以使用：

package <removed>;
import com.google.protobuf.Message;
import com.google.protobuf.MessageOrBuilder;
import com.google.protobuf.util.JsonFormat;
/**
 * Author @espresso ***.
 * Sample use:
 *      Model.Person reqObj = ProtoUtil.toProto(reqJson, Model.Person.getDefaultInstance());
        Model.Person res = personSvc.update(reqObj);
        final String resJson = ProtoUtil.toJson(res);
 **/
public class ProtoUtil 
    public static <T extends Message> String toJson(T obj)
        try
            return JsonFormat.printer().print(obj);
        catch(Exception e)
            throw new RuntimeException("Error converting Proto to json", e);
        
    
   public static <T extends MessageOrBuilder> T toProto(String protoJsonStr, T message)
        try
            Message.Builder builder = message.getDefaultInstanceForType().toBuilder();
            JsonFormat.parser().ignoringUnknownFields().merge(protoJsonStr,builder);
            T out = (T) builder.build();
            return out;
        catch(Exception e)
            throw new RuntimeException(("Error converting Json to proto", e);
        
    

【参考方案10】：

google protobuf 3.7.0 的最新答案： Maven 更改 -- 将其添加到您的 pom.xml 中：

<dependency>
    <groupId>com.google.protobuf</groupId>
    <artifactId>protobuf-java</artifactId>
    <version>3.7.0</version>
</dependency>
<dependency>
    <groupId>com.google.protobuf</groupId>
    <artifactId>protobuf-java-util</artifactId>
    <version>3.7.0</version>
</dependency>
</dependencies>
<build>
    <extensions>
        <extension>
            <groupId>kr.motd.maven</groupId>
            <artifactId>os-maven-plugin</artifactId>
            <version>1.6.0</version>
        </extension>
    </extensions>
    <plugins>
    <plugin>
        <groupId>org.xolstice.maven.plugins</groupId>
        <artifactId>protobuf-maven-plugin</artifactId>
        <version>0.6.1</version>
        <extensions>true</extensions>
        <executions>
            <execution>
                <goals>
                    <goal>compile</goal>
                    <goal>test-compile</goal>
                </goals>
            </execution>
        </executions>
        <configuration>
            <additionalProtoPathElements>
                <additionalProtoPathElement>$project.basedir/src/main/resources</additionalProtoPathElement>
            </additionalProtoPathElements>
            <protocArtifact>com.google.protobuf:protoc:3.7.0:exe:$os.detected.classifier</protocArtifact>
        </configuration>
    </plugin>

这是java类：

public class ProtobufTrial 
  public static void main(String[] args) throws Exception 
    String jsonString = "";
    MyProto.MyEventMsg.Builder builder = MyProto.MyEventMsg.newBuilder();
    JsonFormat.parser().ignoringUnknownFields().merge(jsonString, builder);
    MyProto.MyEventMsg value = builder.build();

    // This is for printing the proto in string format
    System.out.println(JsonFormat.printer().print(value));