Maxwell采集数据到kafka

Posted 写代码的路飞

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Maxwell采集数据到kafka相关的知识,希望对你有一定的参考价值。

在我做毕设时候,用Maxwell采集数据到kafka,我的kafka的topic已经分了4个区,但是在分流操作完数据后发现,前三个topic根本没有进来数据,只有最后一个有

后来我经过查资料,发现我忘记配置Maxwell中的producer_partition_by

#producer_partition_by=database # [database, table, primary_key, transaction_id, thread_id, column]
producer_partition_by=table

配置后就正常运行了!开心!!!又学一招

以上是关于Maxwell采集数据到kafka的主要内容,如果未能解决你的问题,请参考以下文章

Canal或maxwell实时采集MySQL数据到Kafka

MaxWell(Mysql实时数据采集)

大数据实时传输组件Maxwell-问题集锦

maxwell解析mysql的binlog数据并保存到kafka使用

今日指数项目之实时流数据采集

maxwell收集binlog,不同网络环境通过nginx发送数据到kafka集群