logstash 安裝配置

Posted 2022-12-09 周天祥

logstash 安裝配置及优化

logstash-7.2.0

 

1、安装

首先从官网下载logstash：https://www.elastic.co/cn/downloads/logstash

windows下载zip，linux下载tar.gz

解压到指定目录

如果不做任何优化，现在就可以运行

bin/logstash -f config/logstash.conf 

logstash.conf是你收集日志的配置文件，关于这个文件的配置，之后会简单介绍几篇

2、简单优化

如果只是简单测试，或是自己玩一玩，是可以不做优化的

1）在JVM层面优化

近如config目录，有一个jvm.options文件

vim config/jvm.options

修改如下，（根据自己的机器自行调整大小）

-Xms8g
-Xmx8g

2）持久化

默认传输的日志队列是存放在内存的，如果在传输过程中，出现问题，已经到达logstash，而又未到达es（或其他地方）的数据就会丢失，所以建议将数据持久化到磁盘，数据才会更安全

修改config下的logstash.yml

vim config/logstash.yml

更改内容如下：

queue.type: persisted

path.queue: /opt/logstash/data

queue.page_capacity: 512mb

queue.max_bytes: 16gb

queue.type: persisted，persisted就是将队列存储到磁盘，默认是memory，这个配置就是将数据存到内存中

path.queue: /opt/logstash/data，队列存储路径；如果队列类型为persisted，则生效

queue.page_capacity: 512mb #队列为持久化，单个队列大小 ，根据需要自行修改大小

queue.max_bytes: 16gb #队列最大容量，根据需要自行修改大小

 

下面几个根据需要自行修改：

queue.max_events: 0 #当启用持久化队列时，队列中未读事件的最大数量，0为不限制
queue.checkpoint.acks: 1024 #在启用持久队列时强制执行检查点的最大数量,0为不限制
queue.checkpoint.writes: 1024 #在启用持久队列时强制执行检查点之前的最大数量的写入事件，0为不限制
queue.checkpoint.interval: 1000 #当启用持久队列时，在头页面上强制一个检查点的时间间隔

3、对人工智能感兴趣点下面链接

现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。

https://www.cbedai.net/u014646662