elk7版本，收集nginx日志，grafana进行展示

Posted 2020-12-12

elk7版本和之前的部署方式不太一样，我们先部署一下，回忆一下：

一、部署es集群：

我们使用elk用户来启动和创建

首先安装jdk 这里使用1.13版本

这里自行安装，百度都有

接下来开始配置，这些

系统的参数

/etc/security/limits.conf

重启一下或者这个临时的不然系统不识别

接下来开始es配置

自行修改，默认1G

创建一下之前的，数据保存目录

启动es

访问一下

其他的，两个机器也是一样的，但是上面的name需要修改

其他的是k8s-node1和k8s-node2

完成都启动然后测试

上面说明我们的es已经搭建完成了，
安装一个es的插件用来展示elasticsearch-head-chrome-master，安装这个可以自己百度，但是下载之后需要修改

完成之后然后通过index.html就可以看到了

=============================================

接下来部署kibana
vim kibana.yml

启动kibana就可以了

=============================================

接下来部署logstash和nignx日志收集

logstash要和nginx在一台机器

logstash写nginx收集的配置文件

配置nginx

log_format main ‘{"@timestamp":"$time_iso8601",‘br/>‘"@source":"$server_addr",‘
‘"hostname":"$hostname",‘
‘"ip":"$remote_addr",‘
‘"client":"$remote_addr",‘
‘"request_method":"$request_method",‘
‘"scheme":"$scheme",‘
‘"domain":"$server_name",‘
‘"referer":"$http_referer",‘
‘"request":"$request_uri",‘
‘"args":"$args",‘
‘"size":$body_bytes_sent,‘
‘"status": $status,‘
‘"responsetime":$request_time,‘
‘"upstreamtime":"$upstream_response_time",‘
‘"upstreamaddr":"$upstream_addr",‘
‘"http_user_agent":"$http_user_agent",‘
‘"https":"$https"‘
‘}‘;
access_log /var/log/nginx/access_json.log main;

启动nginx就行了

在启动logstash

/home/elk/logstash-7.6.1/bin/logstash -f /home/elk/logstash-7.6.1/config/nginx_access.conf

指定启动的文件

完成之后看看es是否有了

kibana创建索引，一定是es当中有的不然会失败

我这里已经创建了所以提示，没有的话要创建

好了elk基本部署就完成了

===============================

接下来部署grafana

展示nginx访问情况

grafana安装自行百度
wget https://dl.grafana.com/oss/release/grafana-6.4.4-1.x86_64.rpm
yum install -y grafana-6.4.4-1.x86_64.rpm
grafana-cli plugins install grafana-worldmap-panel

grafana-cli plugins install grafana-piechart-panel 1.3.8

完成之后配置es数据源

完成之后导入模板

导入之后需要修改一下

内容都去掉就可以了

好了基本就完事了