FLUME安装&环境:拉取MySQL数据库数据到Kafka

Posted 2021-01-26 Alice口袋有糖

Flume安装成功，环境变量配置成功后，开始进行agent配置文件设置。

 

1.agent配置文件（mysql+flume+Kafka）

#利用Flume将mysql表数据准实时抽取到Kafka

a1.channels = c1

a1.sinks = k1

a1.sources = s1

 

#sources(mysql)

a1.sources.s1.type = org.keedio.flume.source.SQLSource

a1.sources.s1.channels = c1

a1.sources.s1.connection.url = jdbc:mysql://192.168.121.4:3306/alarm

a1.sources.s1.user = root

a1.sources.s1.password = root

a1.sources.s1.table = alarm_query

a1.sources.s1.columns.to.select = *

a1.sources.s1.incremental.column.name = id

a1.sources.s1.incremental.value = 0

a1.sources.s1.run.query.delay=5000

#source状态写入路径（必须存在且可写入）

a1.sources.s1.status.file.path = /opt/apps/flume-1.6.0-cdh5.14.4-bin

a1.sources.s1.status.file.name = sqlsource.status

 

#channels(memory)

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

#sinks(kafka)

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink

# kfk29,kfk30,kfk31对应主机hosts配置的Kafka主机

a1.sinks.k1.brokerList= D-QP-Safe-4:9092, D-QP-Safe-5:9092, D-QP-Safe-6:9092

a1.sinks.k1.topic=qpdy

a1.sinks.k1.requiredAcks = 1

a1.sinks.k1.batchSize = 2

a1.sinks.k1.channel = c1

 

2.配置准备

2.1创建flume状态写入的文件夹和文件

mkdir  /var/lib/flume

vi s1.status

给文件写入的权力 chmod 777 s1.status

 

2.2将flume内存空间设置增大(开始时没有进行设置，结果报了内存溢出的错误)

在flume启动脚本flume-ng中，修改JAVA_OPTS="-Xmx20m"为JAVA_OPTS="-Xmx10240m"

此处将堆内存的阈值跳转到了10G，实际生产环境中可以根据具体的硬件情况作出调整

2.3添加主机对应的kafka主机

（flume.conf配置文件需要添加主机对应的Kafka主机，否则无法找到对应的sink）

# vim /etc/hosts

#添加主机对应的kafka主机

192.168.241.229    D-QP-Safe-4

192.168.241.230    D-QP-Safe-5

192.168.241.231    D-QP-Safe-6

2.4向flume安装目标的/lib目录下添加启动mysql，Kafka等的jar包

3.启动flume

要在flume的安装目录的bin目录下启动

#启动命令

flume-ng agent -c /opt/apps/flume-1.6.0-cdh5.14.4-bin/conf -f /opt/apps/flume-1.6.0-cdh5.14.4-bin/conf/flume.conf -n a1 -Dflume.root.logger=INFO,console

 

a1为配置的agent名，-c和-f后是flume的安装路径（必须一致才能启动成功）

 

4.查看flume进程

ps -aux | grep flume

如果存在多个进程必须将多余进程kill

为了避免一个个的kill，我们需要提取flume的进程号：

ps -aux | grep flume | awk ‘{print $2}‘

然后全部删除

ps -aux | grep flume | awk ‘{print $2}‘ | xargs kill

以上，拉取mysql数据库数据到Kafka就配置好了