使用 zap logger 将 protobuf 消息正确记录为未转义的 JSON

Posted 2023-02-18

【中文标题】使用 zap logger 将 protobuf 消息正确记录为未转义的 JSON

【英文标题】：Correctly log protobuf messages as unescaped JSON with zap logger

【发布时间】：2021-09-25 10:11:35

【问题描述】：

我有一个 Go 项目，我在其中使用 Zap 结构化日志记录来记录结构的内容。这就是我初始化记录器的方式：

zapLog, err := zap.NewProductionConfig().Build()
if err != nil 
    panic(err)

最初，我从我自己的带有 json 标签的结构开始，一切都很完美：

zapLog.Info("Event persisted", zap.Any("event", &event))

结果：

"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
 "msg":"Event persisted","event":"sourceType":4, "sourceId":"some-source-id", 
 "type":"updated", "value":"...", "context":"foo":"bar"

我现在切换到 protobuf 并且我正在努力实现相同的结果。最初，我在使用 zap.Any() 时获得了“反射地图”版本：

zapLog.Info("Event persisted", zap.Any("event", &event))

"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
 "msg":"Event persisted","event":"sourceType:TYPE_X sourceId:\"some-source-id\", 
 type:\"updated\" value:..., context:<key: foo, value:bar>

我尝试使用 jsonpb marshaller 对对象进行编组，这会在其自身上生成正确的输出，但是，当我在 zap.String() 中使用它时，字符串被转义，所以我在前面得到了一组额外的 '\'每个引号。由于稍后会处理日志，这会导致那里出现问题，因此我想避免它：

m := jsonpb.Marshaler
var buf bytes.Buffer
if err := m.Marshal(&buf, msg); err != nil 
    // handle error

zapLog.Info("Event persisted", zap.ByteString("event", buf.Bytes()))

结果：

"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
 "msg":"Event persisted","event":"\"sourceType\":\"TYPE_X\", \"sourceId\":\"some-source-id\", 
 \"type\":\"updated\", \"value\":\"...\", \"context\":\"foo\":"bar\""

然后我尝试使用 zap.Reflect() 而不是 zap.Any() 这是我能得到的最接近我需要的东西，除了枚举被呈现为它们的数值（初始解决方案没有枚举，所以没有也不能在 pre-protobuf 解决方案中工作）：

zapLog.Info("Event persisted", zap.Reflect("event", &event))

结果：

"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
 "msg":"Event persisted","event":"sourceType":4, "sourceId":"some-source-id", 
 "type":"updated", "value":"...", "context":"foo":"bar"

目前我看到的唯一选择是编写我自己的MarshalLogObject() 函数：

type ZapEvent struct 
    event *Event


func (z *ZapEvent) MarshalLogObject(encoder zapcore.ObjectEncoder) error 

  encoder.AddString("sourceType", z.event.SourceType.String()
  // implement encoder for each attribute



func processEvent(e Event) 
   ...
   zapLog.Info("Event persisted", zap.Object("event", &ZapEventevent: &e))

但由于它是一个复杂的结构，我宁愿使用不易出错且维护繁重的解决方案。理想情况下，我会告诉 zap 以某种方式使用 jsonpb 编组器，但我不知道这是否可能。

【参考方案1】：

使用zap.Any 和json.RawMessage。可以直接转换jsonpb.Marshaler的字节输出：

    foo := &pb.FooMsg
        Foo: "blah", 
        Bar:  1,
    

    m := jsonpb.Marshaler
    var buf bytes.Buffer
    if err := m.Marshal(&buf, foo); err != nil 
        // handle error
    

    logger, _ := zap.NewDevelopment()
    logger.Info("Event persisted", zap.Any("event", json.RawMessage(buf.Bytes())))

字节将被打印为：

事件持续存在 "event": "foo":"blah","bar":"1"`

我相信这是最简单的方法，但是我也知道一个包kazegusuri/go-proto-zap-marshaler（我不隶属于它），它生成MarshalLogObject() 实现作为protoc 插件。你可能也想看看。

【讨论】：

太棒了！奇迹般有效。非常感谢！