架构师成长记_第八周_22_logstash 数据同步

Posted 2022-12-11 _大木_

文章目录

• 1. logstash 简介
• • PS:
• 2. logstash 安装
• • 2.1 (前提是安装好jdk)上传logstash, mysql驱动
  • 2.2 logstash 同步配置
  • 2.3 启动logstash
• PS:

1. logstash 简介

Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。
Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。（当然，最喜欢的是Elasticsearch）

PS:

• 数据采集: 可以从数据库中采集到 Elasticsearch
• 以 自增id(不建议, 会无法识别修改的数据) 或者 update_time 作为同步的边界
• 可以通过新版 Elasticsearch 所集成的插件 logstash-input-jdbc 直接使用
• 使用logstash时候要与 Elasticsearch 的版本号保持一致

2. logstash 安装

2.1 (前提是安装好jdk)上传logstash, mysql驱动

2.2 logstash 同步配置

• 1 解压logstash: tar -zxvf logstash-6.4.3.tar.gz
  

• 2 移动 logstash: mv logstash-6.4.3 /usr/local/

• 3 进入该目录: cd /usr/local/logstash-6.4.3/

• 4 创建文件夹sync, 将相关的同步配置放在该文件夹下: mkdir sync
• 5 创建配置文件(后面会进行编辑, 这里进行创建): vim logstash-db-sync.conf

• 6 将数据库驱动进行拷贝到当前的目录下: cp /home/software/mysql-connector-java-5.1.41.jar .
  
• 7 创建sql存储文件: foodie-items.sql

SELECT
		i.id AS itemId,
		i.item_name AS itemName,
		i.sell_counts AS sellCounts,
		ii.url AS imgUrl,
		tempSpec.price_discount AS price,
		i.updated_time AS updated_time

FROM items i
LEFT JOIN
		items_img ii
ON
		i.id = ii.item_id
LEFT JOIN
		 (SELECT item_id,MIN(price_discount) as price_discount
				FROM items_spec
				GROUP BY item_id
		 ) tempSpec
ON i.id = tempSpec.item_id
WHERE
		ii.is_main = 1
		AND 
		i.updated_time >= :sql_last_value

• 8 进行修改配置文件 logstash-db-sync.conf: vim logstash-db-sync.conf

input 
    jdbc 
        # 设置 MySql/MariaDB 数据库url以及数据库名称
        jdbc_connection_string => "jdbc:mysql://192.168.92.1:3306/foodie-shop-dev?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "q210374520"
        # 数据库驱动所在位置，可以是绝对路径或者相对路径
        jdbc_driver_library => "/usr/local/logstash-6.4.3/sync/mysql-connector-java-5.1.41.jar"
        # 驱动类名
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 开启分页
        jdbc_paging_enabled => "true"
        # 分页每页数量，可以自定义
        jdbc_page_size => "1000"
        # 执行的sql文件路径
        statement_filepath => "/usr/local/logstash-6.4.3/sync/foodie-items.sql"
        # 设置定时任务间隔  含义：分、时、天、月、年，全部为*默认含义为每分钟跑一次任务
        schedule => "* * * * *"
        # 索引类型
        type => "_doc"
        # 是否开启记录上次追踪的结果，也就是上次更新的时间，这个会记录到 last_run_metadata_path 的文件
        use_column_value => true
        # 记录上一次追踪的结果值
        last_run_metadata_path => "/usr/local/logstash-6.4.3/sync/track_time"
        # 如果 use_column_value 为true， 配置本参数，追踪的 column 名，可以是自增id或者时间
        tracking_column => "updated_time"
        # tracking_column 对应字段的类型
        tracking_column_type => "timestamp"
        # 是否清除 last_run_metadata_path 的记录，true则每次都从头开始查询所有的数据库记录
        clean_run => false
        # 数据库字段名称大写转小写
        lowercase_column_names => false
    

output 
    elasticsearch 
        # es地址
        hosts => ["192.168.92.148:9200"]
        # 同步的索引名
        index => "foodie-items"
        # 设置_docID和数据库中的id保持相同
        document_id => "%id"
        # document_id => "%itemId"
    
    # 日志输出
    stdout 
        codec => json_lines
    

2.3 启动logstash

• 进入bin目录: cd /usr/local/logstash-6.4.3/bin

• 启动logstash: ./logstash -f /usr/local/logstash-6.4.3/sync/logstash-db-sync.conf
  

• ps: 1 分钟后进行打印日志: 即数据同步成功
  
  

PS:

1. logstash 只对新增和修改的数据可以进行同步, 而对于数据库中删除的数据是不会进行同步到es中的.
2. 所以数据库中删除的数据, 它在es中只是通过更新时间的方式进行逻辑上的删除.