Centos6搭建elk系统，监控IIS日志

Posted 2020-11-01

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Centos6搭建elk系统，监控IIS日志相关的知识，希望对你有一定的参考价值。

**所需程序：

Centos服务器端：java、elasticsearch、kikbana

windows客户端：IIS、logstash**

一、服务器端（192.168.10.46）操作：

先建立一个ELK专门的目录：

[[email protected] ~]mkdir /elk/

上传到elk目录已经下载好的JDK、elasticsearch、kibana安装包。

elasticsearch-2.3.4.tar.gz jdk-8u161-linux-x64.tar.gz kibana-4.5.3-linux-x64.tar.gz

1、安装java环境（需要1.8以上java版本）

安装之前先卸载干净旧的java环境

[[email protected] ~]# yum remove java

[[email protected] ~]# cd /elk/

[[email protected] elk]# tar zxf jdk-8u161-linux-x64.tar.gz

[[email protected] elk]#vim /etc/profile.d/java.sh

export JAVA_HOME=/elk/jdk1.8.0_161

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[[email protected] elk]# source !$

技术分享图片

2、安装elasticsearch

[[email protected] elk]# tar zxf elasticsearch-2.3.4.tar.gz

[[email protected] elk]# vim elasticsearch-2.3.4/config/elasticsearch.yml

修改54行：

技术分享图片

[[email protected] elk]# cd elasticsearch-2.3.4

启动：

[[email protected] elasticsearch-2.3.4]# ./bin/elasticsearch

技术分享图片

提示不能使用root用户运行。需要新建用户。

[[email protected] elasticsearch-2.3.4]# useradd elk

改权限

[[email protected] elasticsearch-2.3.4]# cd ..

[[email protected] elk]#chown elk.elk elasticsearch-2.3.4 -R

[[email protected] elk]# su - elk

[[email protected] ~]$ cd /elk/ && ./elasticsearch-2.3.4/bin/elasticsearch

测试：

[[email protected] ~]$ curl http://192.168.10.46:9200

技术分享图片

2.1安装head插件：

进入elasticsearch/bin目录下运行 ./plugin -install mobz/elasticsearch-head 命令

[[email protected] bin]# ./plugin -install mobz/elasticsearch-head

浏览器测试：http://192.168.10.46:9200/_plugin/head/

技术分享图片

3. 安装kibana

[[email protected] elk]# tar zxf kibana-4.5.3-linux-x64.tar.gz

[[email protected] elk]# vim kibana-4.5.3-linux-x64/config/kibana.yml

修改以下内容：

技术分享图片

[[email protected] elk]# cd kibana-4.5.3-linux-x64

[[email protected] kibana-4.5.3-linux-x64]# ./bin/kibana

测试：http://192.168.1.65:5601

技术分享图片

二、客户端操作（windows2012）

1、先安装JAVA环境

下载JDK并安装 jdk-8u161-windows-x64.exe

配置环境变量：

我的电脑——右键属性——高级系统设置——环境变量

系统变量新建

JAVA_HOME 变量值为JDK安装路径比如C:\Program Files\Java\jdk1.8.0_161

CLASSPATH .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

注意最左边的".和；"

PATH 在原有的变量值最后添加注意右边第一个的“；” ;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin

2、下载logstash 的windows版本（logstash-6.2.3.zip）

解压到D盘下

进入D:\logstash-6.2.3\logstash-6.2.3

新建test.conf配置文件

写入以下内容：

input {
  file {
    type => "iis_log_1"
    path => ["C:/inetpub/logs/LogFiles/W3SVC1/*.log"]      
    start_position => "beginning"
  }
}
filter {
  if [type] == "iis_log_1" {
  #ignore log comments
  if [message] =~ "^#" {
    drop {}
  }
  grok {
    # check that fields match your IIS log settings
    match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IPORHOST:site} %{WORD:method} %{URIPATH:page} %{NOTSPACE:querystring} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clienthost} %{NOTSPACE:useragent} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:scstatus} %{NUMBER:time_taken}"]
  }
    date {
    match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
      timezone => "Etc/UTC"
  }    
  useragent {
    source=> "useragent"
    prefix=> "browser"
  }
  mutate {
    remove_field => [ "log_timestamp"]
  }
  }
}
 output {
        # stdout{
        #        codec => rubydebug{}
        # }
        elasticsearch {
        hosts => ["192.168.10.46:9200"]
        index => "logstash-%{+YYYY.MM.dd}"
         }
}