[日志分析]Graylog2采集Nginx日志 主动方式

Posted 2021-04-11 酒局下饭

这次聊一下Graylog如何主动采集nginx日志，分成两部分：

• 介绍一下 Graylog Collector Sidecar 是什么

• 如何配置 Graylog Collector Sidecar 采集nginx日志

一、首先介绍一下Graylog Collector Sidecar

　　Graylog Collector Sidecar 是一个轻量级的日志采集器，通过访问graylog进行集中式管理，支持linux和windows系统。

　　Sidecar 守护进程会定期访问graylog的REST API接口获取Sidecar配置文件中定义的标签（tag），Sidecar在首次运行时会从graylog服务器拉取配置文件中指定标签（tag）的配置信息同步到本地。

　　目前Sidecar支持NXLog，Filebeat和Winlogbeat。他们都通过graylog中的web界面进行统一配置，支持Beats、CEF、Gelf、Json API、NetFlow等输出类型。

　　Graylog最厉害的在于可以在配置文件中指定Sidecar把日志发送到哪个graylog群集，并对graylog群集中的多个input进行负载均衡，这样在遇到日志量非常庞大的时候，graylog也能应付自如。

二、配置 Graylog Collector Sidecar 采集nginx日志

1、graylog服务器端配置：

（1）导航栏 System/Collectors -> Collectors -> Manage Configurations -> Create configuration ，创建我们第一个名为linux的配置文件

（2）在输入栏写入配置文件的名字 linux ，表示这个是用来收集linux主机日志的配置文件，点击 save 保存

（7）保存好Beats Input之后不要忘记把创建好的tag进行Update tags，否则客户端将找不到这个tag。以上graylog服务器端的配置就都完成了。

（8）graylog创建日志接收的Input 5044端口，导航栏System/Inputs -> Inputs ,在复选框里选择Beats，点击Launch new input

（9）如果你是garylog集群，选择Global，也就是在每个节点都启动5044端口，Title起个名字叫Beats input，端口保持默认tcp 5044，最后点击save保存

（10）我们开始进行客户端的安装，我们以Ubuntu16.04为例，假设graylog服务器ip为192.168.252.10，nginx服务器主机名为nginx1：

1、在nginx1服务器上下载并安装collector-sidecar

wget https://github.com/Graylog2/collector-sidecar/releases/download/0.1.8/collector-sidecar_0.1.8-1_amd64.deb
sudo /usr/bin/dpkg -i collector-sidecar_0.1.8-1_amd64.deb
sudo /usr/bin/graylog-collector-sidecar -service install sudo systemctl enable collector-sidecar.service

2、编辑collector-sidecar配置文件：

vi /etc/graylog/collector-sidecar/collector_sidecar.yml
server_url: http://192.168.252.10:9000/api/
node_id: nginx1
update_interval: 10
tls_skip_verify: false
send_status: true
list_log_files:
collector_id: file:/etc/graylog/collector-sidecar/collector-id
cache_path: /var/cache/graylog/collector-sidecar
log_path: /var/log/graylog/collector-sidecar
log_rotation_time: 86400
log_max_age: 604800
tags:
    - nginx_beats_input
backends:
    - name: nxlog
      enabled: false
      binary_path: /usr/bin/nxlog
      configuration_path: /etc/graylog/collector-sidecar/generated/nxlog.conf
    - name: filebeat
      enabled: true
      binary_path: /usr/bin/filebeat
      configuration_path: /etc/graylog/collector-sidecar/generated/filebeat.yml
service collector-sidecar restart

3、查看collector-sidecar的日志

tail -f /var/log/graylog/collector-sidecar/collector_sidecar.log

知乎：酒局下饭