谁说运维用ELK没用？我就说很有用，只是你之前不会用

Posted 2020-10-02 hch的随笔 成功的秘诀在于恒心—迪斯雷利

1.安装JDK

1)登陆ORACLE官网 (http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html )下载JDK

2)将jdk包放到目录/home/app下，执行解压命令

tar -xvf jdk-8u101-linux-i586.tar.gz

3)添加java环境变量

export JAVA_HOME=/home/app/java/jdk1.8.0_101

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4)java配置生效

source /etc/profile

5)查看jdk是否安装成功

java -version

2.安装配置Logstash

1)上传logstash-2.4.0.zip到 /home/app目录下

2）解压logstash-2.4.0.zip

unzip logstash-2.4.0.zip

3)查看logstash 是否可以正常运行

进入/home/bin/logstash-2.4.0/bin 目录,执行命令 ./logstash -v,返回信息：

输入 hello logstash,查看返回结果

4)新建patterns 目录，添加gork配置文件hirecar_log_pattern（定义gork信息）

ANYTHING .+

BROWSER [[email protected]+_%]+/[0-9]+.[0-9]+

NGUSERNAME [[email protected]+_%]+

NGUSER %{NGUSERNAME}

nginxACCESS %{IPORHOST:clientip} %{NGUSER:ident} %{NGUSER:auth} [%{HTTPDATE:timestamp}] "%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response} (?:%{NUMBER:bytes}|-) (?:"(?:%{URI:referrer}|-)"|%{QS:referrer}) %{QS:agent} %{QS:xforwardedfor} %{IPORHOST:host} %{BASE10NUM:request_duration}

5)新建ifo_confs目录，添加hirecarlog文件（定义输入，输出，过滤器）

input {

file {

path => "/home/app/hirecarlog/*"

start_position => beginning

}

}

filter {

grok {

patterns_dir => "/home/app/logstash-2.4.0/dir"

match => {

"message" => "%{IPORHOST:clientip} %{NGUSER:ident} "%{NGUSER:ident2}" %{NGUSER:ident3} [%{HTTPDATE:timestamp}] "%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response} (?:%{NUMBER:bytes}|-) "(%{URI:referrer}|-)" %{ANYTHING:anything}"

}

}

grok {

patterns_dir => "/home/app/logstash-2.4.0/dir"

match => {

"clientip" => "%{NUMBER:xx}"

}

remove_field => ["message","host","ident","ident2","ident3","httpversion","bytes","xx","anything"]

}

date{

match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]

}

}

output {

stdout {

codec => rubydebug

}

elasticsearch{

hosts => ["localhost:9200"]

}

}

3 安装Elasticsearch

1)解压 elasticsearch-1.5.0.zip

2)/home/app/elasticsearch-1.5.0/config目录下 修改文件 elasticsearch.yml

修改cluster.name 为 hirecar

注释信息：

network.bind_host

network.publish_host

network.host

注:elasticsearch 2.4.0 需要指定IP：即修改network.host属性值。

3)安装插件 head

elasticsearch/bin/plugin -install mobz/elasticsearch-head

4)后台启动elasticsearch ./elaticsearch -d

5) 查看elasticsearch运行状态：host:9200/ ,返回elasticsearch基础信息

{

"status" : 200,

"name" : "50 hirecar",

"cluster_name" : "hirecar",

"version" : {

"number" : "1.5.0",

"build_hash" : "544816042d40151d3ce4ba4f95399d7860dc2e92",

"build_timestamp" : "2015-03-23T14:30:58Z",

"build_snapshot" : false,

"lucene_version" : "4.10.4"

},

"tagline" : "You Know, for Search"

}

6）通过head插件查看elasticsearch运行详细信息:访问:host:9200/plugin/_head

4.安装kibana

1)解压kibana-4.1.11-linux-x64.zip

2)定义kibana访问的elasticsearch地址属性：elasticsearch_url

3)注释服务绑定地址属性： host

4)$Kibana_HOME/bin 目录下，启动kibana服务 ./kibana

5)验证kibana是否启动正常,访问链接： http://host:5601/

5.kibana简单应用 -创建一个饼状图

1) 访问Visulize选型，选择创建饼状统计分析图

2)点击创建一个新查询条件

3）选择时间，定义统计指标，定义统计分区

4)点击执行按钮后，返回指定时间范围内排名前20的IP访问地址

6 运维使用ELK效果展示

上述的内容仅是简单介绍了ELK的部署，但是很多人会问，我能用ELK来做什么？如果你是一个开发，那么你可以用ELK来进行大数据分析和自定义图标，制作报表等；如果你是一个运维，那么你可以用ELK来收集你各个系统的系统日志、安全日志、用户操作记录等等，当然你也可以收集程序日志，但是前提是你的程序日志不是debug模式，不然ELK收集的日志会让你怀疑人生（因为实在是太多太多的日志输出了）。

下面我来展示下运维使用ELK的简单例子，也是我们公司目前在用的一个审计手段：

1）操作系统用户操作记录审计功能

该功能可以实现，任何用户任何时间只要在操作系统上进行了操作，他的操作指令就会立即传输到ELK中的Elasticsearch中，即使用户在操作系统上清除了操作记录也没用，依然是可以记录到。该功能可以为操作审计提供一大助力。

2）记录安全日志

该功能可以统计系统上用户登录次数等，过滤关键字可以查看时间段内是否有人包里破解系统，这个功能可以作为日常巡检中的一项，提高系统安全性。

3）查看系统日志，判断系统是否出现异常情况

通过过滤Error或Warn等关键字眼，可以巡查是否有服务器出现了系统异常。该功能也可以作为日常巡检工作之一，确保服务器能够正常运作。

4）进行绘图，自定义控制面板查看重要信息

例如我想看下我的操作系统每天都有多少次登录信息、或者说是否有人在服务器上进行了危险操作，或者系统是否出现了异常输出等等，均可以自定义控制面板。点击向上按钮可以查看面板图中的相关信息。

 

转自

谁说运维用ELK没用？我就说很有用，只是你之前不会用
http://www.toutiao.com/i6445042259703366157/