大数据实时传输组件Maxwell-问题集锦

Posted 2022-03-23 天青色等烟雨...

项目场景：

实时平台搭建遇到的问题

---

问题描述

1.mysql有新增或更新数据，maxwell没有采集到
2.bootstrap服务kafka消费不到数据
3.删除maxwell数据库数据导致宕机
4.时区问题(解决方案见上篇文章)

---

问题1解决方案：

1.非暴力操作(可试)

查看master的状态，flush刷新一下日志也可以，然后再查看刷新后的master的状态，然后进到mysql数据库中修改maxwell数据库中的positions表中的binlog_position的位置与之对应


2.暴力操作
删除maxwell库下所有的表，然后重启maxwell

问题2解决方案

问题场景：数据在机器1的mysql数据库里，启用bootstrap服务把历史数据导到机器2的kafka的相应主题中，一直卡在下面这个界面，kafka那边也消费不到数据.

问题解决：

1. 尝试用sudo执行命令，排除权限问题
2. 查看maxwell的配置文件，将无关配置注释掉，有些配置可能是安装时默认是打开的(有些配置本人也没去具体了解)

问题3解决方案

问题场景：我只是删除了maxwell库中tables表中记录的某个表，maxwell采集到数据(其他表)出现宕机

问题解决:
暴力方式:直接删除Maxwell库下所有的表，然后重启Maxwell

记得点赞收藏奥，关注不迷路~