发送到 kafka 主题时序列化消息时出错

Posted

技术标签:

【中文标题】发送到 kafka 主题时序列化消息时出错【英文标题】:Error to serialize message when sending to kafka topic 【发布时间】:2017-09-22 13:12:55 【问题描述】:

我需要测试一条消息,其中包含标头,所以我需要使用 MessageBuilder,但我无法序列化。

我尝试在生产者道具上添加序列化设置,但没有成功。

有人可以帮我吗?

这个错误:

org.apache.kafka.common.errors.SerializationException: Can't convert value of class org.springframework.messaging.support.GenericMessage to class org.apache.kafka.common.serialization.StringSerializer specified in value.serializer

我的测试课:

public class TransactionMastercardAdapterTest extends AbstractTest

@Autowired
private KafkaTemplate<String, Message<String>> template;

@ClassRule
public static KafkaEmbedded embeddedKafka = new KafkaEmbedded(1);

@BeforeClass
public static void setUp() 
    System.setProperty("spring.kafka.bootstrap-servers", embeddedKafka.getBrokersAsString());
    System.setProperty("spring.cloud.stream.kafka.binder.zkNodes", embeddedKafka.getZookeeperConnectionString());


@Test
public void sendTransactionCommandTest()

    String payload = "\"o2oTransactionId\" : \"" + UUID.randomUUID().toString().toUpperCase() + "\","
            + "\"cardId\" : \"11\","
            + "\"transactionId\" : \"20110405123456\","
            + "\"amount\" : 200.59,"
            + "\"partnerId\" : \"11\"";

    Map<String, Object> props = KafkaTestUtils.producerProps(embeddedKafka);
    props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
    props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

    Producer<String, Message<String>> producer = new KafkaProducer<>(props);
    producer.send(new ProducerRecord<String, Message<String>> ("notification_topic", MessageBuilder.withPayload(payload)
            .setHeader("status", "RECEIVED")
            .setHeader("service", "MASTERCARD")
            .build()));

    Map<String, Object> configs = KafkaTestUtils.consumerProps("test1", "false", embeddedKafka);

    configs.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
    ConsumerFactory<byte[], byte[]> cf = new DefaultKafkaConsumerFactory<>(configs);

    Consumer<byte[], byte[]> consumer = cf.createConsumer();
    consumer.subscribe(Collections.singleton("transaction_topic"));
    ConsumerRecords<byte[], byte[]> records = consumer.poll(10_000);
    consumer.commitSync();

    assertThat(records.count()).isEqualTo(1);

【问题讨论】:

【参考方案1】:

我会说错误很明显:

Can't convert value of class org.springframework.messaging.support.GenericMessage to class org.apache.kafka.common.serialization.StringSerializer specified in value.serializer

您的值是GenericMessage,但StringSerializer 只能用于字符串。

你需要的叫做JavaSerializer,它不存在,但写起来并不难:

public class JavaSerializer implements Serializer<Object> 

    @Override
    public byte[] serialize(String topic, Object data) 
        try 
            ByteArrayOutputStream byteStream = new ByteArrayOutputStream();
            ObjectOutputStream objectStream = new ObjectOutputStream(byteStream);
            objectStream.writeObject(data);
            objectStream.flush();
            objectStream.close();
            return byteStream.toByteArray();
        
        catch (IOException e) 
            throw new IllegalStateException("Can't serialize object: " + data, e);
        
    

    @Override
    public void configure(Map<String, ?> configs, boolean isKey) 

    

    @Override
    public void close() 

    


并为 value.serializer 属性配置它。

【讨论】:

tks 回答,但不起作用,2017-04-25 11:11:12,133 错误 -kafka-listener-1 oscsbkKafkaMessageChannelBinder:287 - 无法转换消息:ACED000573720 java.lang.StringIndexOutOfBoundsException:字符串索引超出范围:-19 org.springframework.messaging.converter.MessageConversionException:无法读取 JSON:意外字符('¬'(代码 172)):预期有效值(数字、字符串、数组、对象、'true '、'false' 或 'null')在 [来源:[B@4e076253;行:1,列:2];嵌套异常是 com.fasterxml.jackson.core.JsonParseException: Unexpected character ('¬' (code 172)): 需要一个有效值(数字、字符串、数组、对象、'true'、'false' 或 'null')在 [来源:[B@4e076253;行:1,列:2] 我认为问题在于 GenericMessage 类的 2 个属性,它创建了 2 个 json,headers = id = 067-879b0, service = MASTER, status = RECEIVED, timestamp = 1493130032409 和 payload = “..”。也许这不是发送带有标头的消息的正确方法 = / 嗯,那是完全不同的故事。您谈到了发送消息,但现在是关于阅读。就 SO 而言,您应该得到“-1”。如果要发送JSON,请考虑提前手动将消息写入JSONproducer.send() 错误发生在序列化的过程中,在序列化方法的返回中。但感谢您的帮助。【参考方案2】:
private void configureProducer() 
Properties props = new Properties();
props.put("key.serializer",
        "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer",
        "org.apache.kafka.common.serialization.ByteArraySerializer");

producer = new KafkaProducer<String, String>(props);

这样就可以了。

【讨论】:

ByteArraySerializer 对我不起作用,但 JsonSerializer 起作用了。【参考方案3】:

@XmlRootElement注释JSON类

【讨论】:

以上是关于发送到 kafka 主题时序列化消息时出错的主要内容,如果未能解决你的问题,请参考以下文章

Kafka Connect:如何使用 hdfs sink 连接器将 Kafka 主题的 protobuf 数据发送到 HDFS?

预验证发送到 Kafka 主题的消息

Kafka - 在 Linux 和 Windows 之间创建代理侦听器时出错

获取 Kafka 压缩消息大小

向 kafka 主题发送消息时出现 TimeoutException

使用Kafka向Dlq Spring云流发送消息时出错