使用logstash同步mysql数据库信息到ElasticSearch

Posted 2021-04-21 dalaoyang

本文介绍如何使用logstash同步mysql数据库信息到ElasticSearch.

1.准备工作

1.1 安装JDK

网上文章比较多，可以参考：https://www.dalaoyang.cn/article/16。

1.2 安装Logstash

我使用了5.x版本和6.x版本，可以参考：https://www.dalaoyang.cn/article/80。

7.x版本未尝试！！！

1.3 安装ruby

安装过程可以参考：https://blog.csdn.net/qq_26440803/article/details/82717244，已经非常详细了。

1.4 安装gem

安装

 
   
   
 

  
    
    
  
yum install gem
 
   
   
 

gem源修改

 
   
   
 

  
    
    
  
gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/
 
   
   
 

1.5 修改logstash中的Gemfile和Gemfile.jruby-1.9.lock文件

修改上图中Gemfile文件红框位置为

 
   
   
 

  
    
    
  
source "https://gems.ruby-china.com/"
 
   
   
 

修改上图中Gemfile.jruby-1.9.lock文件(其他版本logstash可能不叫这个名字，但是名字类似)红框位置为

 
   
   
 

  
    
    
  
remote: https://gems.ruby-china.com/
 
   
   
 

1.6 安装bundler

安装

 
   
   
 

  
    
    
  
gem install bundler
 
   
   
 

1.7 安装logstash-input-jdbc插件

安装

 
   
   
 

  
    
    
  
bin/logstash-plugin install logstash-input-jdbc
 
   
   
 

1.8 准备mysql-connector-java-x.x.x.jar

需要准备一个mysql-connector-java-x.x.x.jar对应版本的jar，这里使用的是mysql-connector-java-5.1.6.jar。

这个可以去官网下载：https://dev.mysql.com/downloads/connector/j/5.1.html

2.配置logstash

创建mysql-es.conf配置文件，名称可以自定，这里数据表以我博客友情链接表为例，内容如下：

 
   
   
 

  
    
    
  
input {
  
    
    
  
 jdbc {
  
    
    
  
 # 驱动包位置
  
    
    
  
 jdbc_driver_library => "/usr/local/logstash/logstash-5.6.16/mysql-connector-java-5.1.6.jar"
  
    
    
  
 # 驱动
  
    
    
  
 jdbc_driver_class => "com.mysql.jdbc.Driver"
  
    
    
  

  
    
    
  
 jdbc_connection_string => "jdbc:mysql://ip:3306/dalaoyang"
  
    
    
  
 # 数据库连接用户名
  
    
    
  
 jdbc_user => "root"
  
    
    
  
 # 数据库连接用户密码
  
    
    
  
 jdbc_password => "password"
  
    
    
  
 # 执行sql语句文件位置
  
    
    
  
 # statement_filepath => "filename.sql"
  
    
    
  
 # 执行sql
  
    
    
  
 statement => "SELECT * from link_info"
  
    
    
  
 # 是否分页
  
    
    
  
 jdbc_paging_enabled => "true"
  
    
    
  
 # 分页数量
  
    
    
  
 jdbc_page_size => "50000"
  
    
    
  
 type => "jdbc"
  
    
    
  
 tracking_column => "update_date"
  
    
    
  
 use_column_value => false
  
    
    
  
 # 执行任务时间间隔，各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
  
    
    
  
 schedule => "* * * * *"
  
    
    
  
 }
  
    
    
  
}
  
    
    
  

  
    
    
  

  
    
    
  
output {
  
    
    
  
 elasticsearch {
  
    
    
  
 hosts => "ip:端口"
  
    
    
  
 index => "test-mysql"
  
    
    
  
 # 数据库中的id
  
    
    
  
 document_id => "%{link_id}"
  
    
    
  
 }
  
    
    
  
}
 
   
   
 

3.启动logstash

执行命令启动

 
   
   
 

  
    
    
  
bin/logstash -f mysql-es.conf
 
   
   
 

启动后可以看到如图所示

4.查看ElasticSearch

在ElasticSearch-head中可以看到对应mysql中的数据，如图

5.总结

总的来说过程还是很简单的，没有遇到太大的问题，这只是mysql同步es的一种方式，还有很多方式可以使用。

-END-