Rhit:高效可视化 Nginx 日志查看工具,每秒处理百万行日志数据

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Rhit:高效可视化 Nginx 日志查看工具,每秒处理百万行日志数据相关的知识,希望对你有一定的参考价值。

参考技术A 【导语】:一个格式化 nginx 日志,可快速阅读、查看 Nginx 日志的工具。

Rhit 可以从标准文件夹中读取 Nginx 的日志文件(gzipped 的压缩文件也可以),并进行分析统计,在控制台中以可视化的表格形式展示,并且不会产生任何多余的临时文件或数据。

可以按照日期、响应值、请求来源等进行过滤匹配,并进行分析,Rhit 具有很高的效率,每秒可以处理百万行日志数据。

以下是在一月份的日志中查找状态码为 1xx、2xx 的结果:

项目地址是:

https://github.com/Canop/rhit

rhit可以自动打开默认目录下的nginx日志文件,也可以在命令行参数中指定日志路径:

nginx常见的日志行是这样的:

它由几个字段组成:日期、远程IP地址、路径、发送的字节等。rhit可以执行对表格进行排序的字段列表,如果未指定,默认按照日期、状态码、来源和路径来显示,如果要制定多个字段,使用逗号进行分割,如-f date,status;显示所有字段,使用-f all。

Rhit提供了一些过滤器,用于筛选结果列表,展示自己想看到或者不想看到的一些数据。

默认情况下,所有表都按照hits进行排序,这就是排序键,排序键的所有值都以粉红色显示,包括直方图。如果对发送字节数更感兴趣,可以将排序键修改为bytes,使用-k b进行更改:

lamp架构goaccess日志可视化

一、goaccess 日志可视化

它是一款可视化web日志监控工具,它能够为需要动态可视服务器报告的系统管理员提供快速且有价值的 HTTP 统计信息,主要优点:快速、实时、具有美观的页面,几乎支持所有的web日志格式。但是并无告警功能

  • 注释所有上篇的重定向
    vim /usr/local/nginx/conf/nginx.conf

  • 下载安装:

wget https://tar.goaccess.io/goaccess-1.4.tar.gz
tar -xzvf goaccess-1.4.tar.gz
cd goaccess-1.4/
./configure --enable-utf8 --enable-geoip=legacy
make
make install
  • 编译过程中需要安装此包、可以在阿里云下载

  • 生成可视化界面文件
    goaccess access.log -o /usr/local/nginx/html/report.html --log-format=COMBINED --real-time-html

  • 在/usr/local/nginx/html下

  • 访问172.25.2.1/report.html 可视化页面,且当有新的日志生成时网页自动实时更新,无需手动刷新:

以上是关于Rhit:高效可视化 Nginx 日志查看工具,每秒处理百万行日志数据的主要内容,如果未能解决你的问题,请参考以下文章

一款全面高效的日志分析工具,操作更简单

请教nginx日志分析

Flask + echarts 轻松搞定 nginx 日志可视化

NginxWebUI--强大的nginx可视化配置工具

ELK 日志处理开发指南

lamp架构goaccess日志可视化