com.esotericsoftware.kryo.KryoException: Encountered unregistered class ID

Posted 2022-04-08 悟初境

最近遇到个Kryo反序列化的错误com.esotericsoftware.kryo.KryoException: Encountered unregistered class ID: xxx，最后发现是 Kryo不同版本导致的，而且只在有 Map时才出现兼容性问题，觉得非常有意思，希望可以帮到有需要的人。

问题复现

Kryo稍微封装下

public class KryoSerializer 
    /**
     * 解决线程安全问题
     */
    private static final ThreadLocal<Kryo> kryoPool = ThreadLocal.withInitial(() -> 
        Kryo temp = new Kryo();
        temp.setReferences(false);
        return temp;
    );

    public static byte[] serialize(Object object) 
        ByteArrayOutputStream bos = new ByteArrayOutputStream(4096);
        Output output = new Output(bos, 1024);
        kryoPool.get().writeClassAndObject(output, object);
        output.flush();
        return bos.toByteArray();
    

    public static Object deserialize(byte[] bytes) 
        Input input = new Input(bytes);
        return kryoPool.get().readClassAndObject(input);
    

    public static void setClassLoader(ClassLoader classLoader) 
        kryoPool.get().setClassLoader(classLoader);
    

准备一个带Map的简单类

import java.util.HashMap;
import java.util.Map;

public class Param 

    public String name;

    public Map<String, Object> conf = new HashMap<>(4);

    public Param() 
    

    public Param(String name) 
        this.name = name;
    

    @Override
    public String toString() 
        return "Param" +
                "name='" + name + '\\'' +
                ", conf=" + conf +
                '';
    

测试的序列化和反序列化方法

我们首先将使用的Kryo版本打印出来。

private static void deserialize() 
	System.out.println(Kryo.class.getProtectionDomain().getCodeSource().getLocation().getPath());

	String s = "AQBjb20uamltby5QYXJh7QEBamF2YS51dGlsLkhhc2hNYfABA2517QLIAWppbe8=";
	final Object obj = KryoSerializer.deserialize(EncodeUtil.base64DecodeBytes(s));
	System.out.println(obj);


private static void serialize() 
	System.out.println(Kryo.class.getProtectionDomain().getCodeSource().getLocation().getPath());
	final Param p = new Param("jimo");
	p.conf.put("num", 100);
	final byte[] bytes = KryoSerializer.serialize(p);
	System.out.println(EncodeUtil.base64EncodeBytes(bytes));

如何控制Kryo版本呢？

很简单，手动注释不同的版本。

    <dependencies>
        <!--<dependency>
            <groupId>com.esotericsoftware</groupId>
            <artifactId>kryo</artifactId>
            <version>4.0.2</version>
        </dependency>-->
        <dependency>
            <groupId>com.esotericsoftware</groupId>
            <artifactId>kryo</artifactId>
            <version>3.0.3</version>
        </dependency>
    </dependencies>

接下来就可以开始实验了。

Kryo3序列化–Kryo4反序列化

首先将pom里的Kryo版本设为3.0.3,我们测试当使用低版本序列化，高版本反序列化时，会不会出问题。

序列化结果如下：

/D:/maven_repository/com/esotericsoftware/kryo-shaded/3.0.3/kryo-shaded-3.0.3.jar
AQBjb20uamltby5QYXJh7QEBamF2YS51dGlsLkhhc2hNYfABbnXtAsgBamlt7w==

接着将pom里的Kryo版本设为 4.0.2, 通过Kryo4反序列化，得到如下报错：

/D:/maven_repository/com/esotericsoftware/kryo/4.0.2/kryo-4.0.2.jar
Exception in thread "main" com.esotericsoftware.kryo.KryoException: Encountered unregistered class ID: 108
Serialization trace:
conf (com.jimo.Param)
	at com.esotericsoftware.kryo.util.DefaultClassResolver.readClass(DefaultClassResolver.java:137)
	at com.esotericsoftware.kryo.Kryo.readClass(Kryo.java:693)
	at com.esotericsoftware.kryo.Kryo.readClassAndObject(Kryo.java:804)
	at com.esotericsoftware.kryo.serializers.MapSerializer.read(MapSerializer.java:153)
	at com.esotericsoftware.kryo.serializers.MapSerializer.read(MapSerializer.java:39)
	at com.esotericsoftware.kryo.Kryo.readObject(Kryo.java:734)
	at com.esotericsoftware.kryo.serializers.ObjectField.read(ObjectField.java:125)
	at com.esotericsoftware.kryo.serializers.FieldSerializer.read(FieldSerializer.java:543)
	at com.esotericsoftware.kryo.Kryo.readClassAndObject(Kryo.java:816)
	at com.jimo.KryoSerializer.deserialize(KryoSerializer.java:30)
	at com.jimo.Main.deserialize(Main.java:18)
	at com.jimo.Main.main(Main.java:8)

可以看出，这是版本问题导致的。那 Kryo能否向下兼容呢？

Kryo4序列化–Kryo3反序列化

将pom里的Kryo版本设为 4.0.2,然后执行序列化结果如下：

/D:/maven_repository/com/esotericsoftware/kryo/4.0.2/kryo-4.0.2.jar
AQBjb20uamltby5QYXJh7QEBamF2YS51dGlsLkhhc2hNYfABA2517QLIAWppbe8=

再将pom里的Kryo版本设为3.0.3, Kryo3反序列化结果如下：

/D:/maven_repository/com/esotericsoftware/kryo-shaded/3.0.3/kryo-shaded-3.0.3.jar
Paramname='jimo', conf=num=100

咋一看能反序列化，好像是向下兼容的。
但是，仔细一看，发现map里面的key多了个字符，这是个什么字符呢？

通过断点可以看到，这是 \\u0003, 含义是 ETX，也就是退出，平常用的 Ctrl+C.

总结

在笔者场景下，会通过 Kryo序列化得到的byte数组再经过Base64转换为字符串，传输到Spark-YARN环境再反序列化，结果出现了反序列化报错。后面发现，这是由于 Kryo版本不一致导致的。

对于Kryo的兼容性问题，建议都保持同一个版本，跨版本的兼容很难保证，特别是在有 Map的情况下。