ELK——Logstash

Posted 2021-01-16

Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。

官网介绍：
https://www.elastic.co/cn/products/logstash

https://www.elastic.co/downloads/logstash

1、 下载

Logstash 依赖 JDK1.8 ，因此在安装之前请确保机器已经安装和配置好 JDK1.8。
1）根据官网下载提示并解压
2）配置运行路径到环境变量
3）使用命令logstash进行测试，检验是否安装成功

2、 使用介绍

logstash 后可以加：
??-f：指定配置文件，根据配置文件配置logstash
? -e：字符串，配置，默认“”stdin输入、stdout输出（在控制台输入、输出），可通过命令行接受设置
??-l：输出地址，默认控制台输出
??-t：测试配置文件是否正确后退出

#输入
input {
  ...
}

#过滤器
filter {
  ...
}

#输出
output {
  ...
}

3、 例子：从标准输入读取、不进行任何过滤，读取到标准输出

logstash -e ‘input { stdin { } } output { stdout {} }‘

4、例子：从文件读取

input {
    # 从文件读取日志信息
    file {
        path => "/var/log/error.log"
        type => "error"
        start_position => "beginning"
    }
}

# filter {
#
# }

output {
    # 标准输出
    stdout { codec => rubydebug }
}

运行命令：
logstash -f logstash.conf

5、常用输出：数据库

修改output位置为以下内容：

output {
    redis {
        host => "127.0.0.1"
        port => 3213
        password => "123457"
        db => 1
        data_type => "error"
        key => "logstash"
    }
    stdout{codec=>rubydebug}
 }