ES Logstash数据同步入门

Posted 2023-04-16

参考技术A 官网地址： https://www.elastic.co/cn/logstash

Logstash 是一个功能强大的工具，可与各种部署集成。 它提供了大量插件，可帮助你解析，丰富，转换和缓冲来自各种来源的数据。 如果你的数据需要 Beats 中没有的其他处理，则需要将 Logstash 添加到部署中。

Logstash 是 Elastic 栈非常重要的一部分，但是它不仅仅为 Elasticsearch 所使用。它可以介绍广泛的各种数据源。Logstash 可以帮利用它自己的Filter帮我们对数据进行解析，丰富，转换等。

最后，它可以把自己的数据输出到各种需要的数据储存地，这其中包括 Elasticsearch。

简单点来说 Logstash 是一个数据流引擎：

我们可以通过设置自增id主键或者时间来控制数据的自动同步，时间就是用于给 logstash 进行识别的 。

官网地址： https://www.elastic.co/guide/en/logstash/current/index.html

Logstash 包含3个主要部分： 输入(inputs)，过滤器(filters)和输出(outputs)。 你必须定义这些过程的配置才能使用 Logstash，尽管不是每一个都必须的。在有些情况下，我们可以甚至没有过滤器。在过滤器的部分，它可以对数据源的数据进行分析，丰富，处理等等。

《果然新鲜》电商项目（46）- MQ与Logstash实现数据库同步到ES的区别

引言

在前面已经实现了利用Logstash自动同步数据库内容到ES，除了Logstash同步的方式，还可以使用MQ的形式来同步，他们有什么区别呢？本文来讲解下。

1. MQ与Logstash同步原理对比

先来看看Logstash同步数据库的内容到ES原理图：

再来看看MQ同步数据库的内容到ES原理图：

它们之间有什么区别呢？我做了一张表格：

区别	MQ	Logstash
数据库处理	插入或更新数据立刻推送	定时从数据库获取
速度	实时推送	定时推送
复杂性	复杂	简单
最终一致性	强（有容错补偿机制）	弱

2.总结

本文主要讲解MQ与Logstash实现数据库同步ES的区别。