elasticsearch+filebeat+kibana jmeter分布式日志

Posted 2020-11-27 zhizhiyin

es做日志存储

filebeat做日志收集

kibana做显示

 

步骤：1，wget filebeat，解压；

2.filebeat.yml+ fields.yml ，前者配置日志的收集配置;

filebeat.yml，里面的9202是跳板机的es的开放端口

filebeat.inputs:
- type: log
  enable: true
  paths:
    -/var/log/*.log
  multiline.pattern:^[0-9]{4}-[0-9]{2}-[0-9]{2}
  multiline.negate: true
  multiline.match: after
  include.lines: [‘ERROR‘]


#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["localhost:9200"]

  # Optional protocol and basic auth credentials.
  #protocol: "https"
  #username: "elastic"
  #password: "changeme"

　　

启动filebeat

/filebeat -e -c ../filebeat.yml

　　

 

linux跳板机的jmeter配置

#set java enviroment
JAVA_HOME=/usr/java/jdk1.8.0_141
JRE_HOME=/usr/java/jdk1.8.0_141/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

#set maven environment
export MAVEN_HOME=/usr/maven/apache-maven-3.6.3
export PATH=$MAVEN_HOME/bin:$PATH
#set jmeter environment
export JMETER_HOME=/home/yindongzi/apache-jmeter-5.2.1
export CLASSPATH=$JMETER_HOME/lib/ext/ApacheJMeter_core.jar:$JMETER_HOME/lib/jorphan.jar:$CLASSPATH
export PATH=$JMETER_HOME/bin:$PATH:$HOME/bin

　　

jmeter脚本配置方式：

1.viewResultsTree 的执行结果保存在跳板机的对应文件路径下，/var/log/jm.log。

这里有个坑，查看结果数的日志是时间戳，报错行没有ERROR，需要修改一下filebeat的设置；

2.查看结果树比较消耗性能，一般用另一种；save response file,或者 jsr223 listener

if(prev.getResponseCode)!="200"
{
log.error(prev.getResponseDataAsString());
}

　　

ctx vars props prev 

　　

kibana配置：

登录kibana的5601端口，配置patterns

index patterns :filebeat*

或者在console里面查看

GET _search
{
"query":{
"match_all":{}
}
}

 

可以在kibana里面查看一些jmeter的报错和一些response报错的日志详情　　

 

其他：filebeat只需要和jmeter日志在同一个地址，不需要和es在一个机器。