利用Maxwell组件实时监听Mysql的binlog日志

Posted 2020-11-21 凯心大宝牙

 

一：在linux环境下安装部署好mysql

 

开启binlog

Vim  /etc/my.cnf

mysql的binlog格式有3种，为了把binlog解析成json数据格式，要设置binlog的格式为row（binlog有三种格式：Statement、Row以及Mixed）

 

 

3重启msyql服务

service mysqld restart

查看是否已经开启binlog

 

查看是否已经开启binlog 是否改为row模式

/var/lib/mysql下看到生成了相应的binlog监听日志文件，如图，master.000001文件，每次重启msyql服务，就会生成一个新的监听文件

 

 

配置Maxwell相关的部署工作

1下载Maxwell

官网

http://maxwells-daemon.io/

安装 tar –zxvf maxwell-1.14.4.tar.gz

 

创建Maxwell的db和用户

create database maxwell;

GRANT ALL on maxwell.* to \'maxwell\'@\'%\' identified by \'123456’;

GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to \'maxwell\'@\'%\';

flush privileges;

 

3.5测试STDOUT:

bin/maxwell --user=\'maxwell\' \\

--password=\'123456\' --host=\'127.0.0.1\' \\

--producer=stdout

 

 

测试：

Mysql插入数据：

insert into demo(id,name,age,address) values(999,\'jepson\',18,\'www.ruozedata.com\');

maxwel

监控到数据