日志架构与部署

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了日志架构与部署相关的知识,希望对你有一定的参考价值。

1.架构图如下:

技术分享图片


二.组件介绍;


1、收集模块-telegraf

     Telegraf 是一个用 Go 编写的代理程序,可收集系统和服务的统计数据,并写入到 InfluxDB 数据库。

Telegraf 具有内存占用小的特点,通过插件系统开发人员可轻松添加支持其他服务的扩展。

优点:

1:监控插件满足主流监控需求;

2:添加监控项方式简单、灵活;

3:监控项模块化,方便自动程序调用;

 

2、存储数据库-influxdb

    InfluxDB 是一个开源分布式时序、事件和指标数据库。使用 Go 语言编写,无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。

    特点

  • 无外部依赖

  • 快速使用

  • 优雅的RESTFUL API

  • 强大的类似SQL的查询语言

  • 水平扩展

  • go编写

3、数据展示 - grafana

    Grafana是一个纯粹的html/js应用,访问InfluxDB时不会有跨域访问的限制。只要配置好数据源为InfluxDB之后就可以,剩下的工作就是配置图表。Grafana 功能非常强大。

使用ElasticsSearch保存DashBoard的定义文件,也可以ExportJSON文件(Save ->Advanced->Export Schema),然后上传回它的/app/dashboards目录。

    优点:

  • 丰富的数据源接口,各种数据都能接入,在gafana进行展示;

  • 丰富的API接口,方便自动化程序调用;

  • 监控dashboard 导入 、导出,这个很棒,做好一个比较满意的展示面板,导出后主要修改一下里面的IP等信息,通过导入,其它主机的展示全部搞定。

 

4、报警插件 - Kapactior 

    官网推荐,但有些不足。后期可能改为自研。


三.部署;


官网: https://portal.influxdata.com/downloads

 

1telegraf 安装

wget https://dl.influxdata.com/telegraf/releases/telegraf-1.6.2-1.x86_64.rpm

rpm –ivh telegraf-1.6.2-1.x86_64.rpm

 

2influxdb安装

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.5.2.x86_64.rpm

rpm –ivh influxdb-1.5.2.x86_64.rpm

 

3grafana安装

wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.1.2-1.x86_64.rpm 

rpm –ivh  grafana-5.1.2-1.x86_64.rpm 

 

4chronograf安装

wget https://dl.influxdata.com/chronograf/releases/chronograf-1.4.4.2.x86_64.rpm

rpm –ivh chronograf-1.4.4.2.x86_64.rpm

5kapacitor安装

wget https://dl.influxdata.com/kapacitor/releases/kapacitor-1.4.1.x86_64.rpm

rpm –ivh kapacitor-1.4.1.x86_64.rpm




以上是关于日志架构与部署的主要内容,如果未能解决你的问题,请参考以下文章

ELK(V7)部署与架构分析

万字长文:ELK(V7)部署与架构分析

.NET CORE开源 DDD微服务 支持 多租户 单点登录 多级缓存自动任务分布式日志授权和鉴权 网关 注册与发现 系统架构 docker部署

百亿级日志系统架构设计及优化

10年大数据架构师:日访问百亿级,如何架构并优化日志系统?

详解kafka架构原理与安装部署