日志服务

Posted 2022-12-10 小韵豆子

一般来说，一个完整的日志服务，需要提供如下 5 个功能：

    1、收集 ：能够采集多个来源的日志数据。
    2、传输 ：能够稳定的把日志数据传输到日志服务。
    3、存储 ：能够存储海量的日志数据。
    4、查询 ：能够灵活且高效的查询日志数据，并提供一定的分析能力。
    5、告警 ：能够提供提供告警功能，通知开发和运维等等。

解决方案：
    目前，市面上有非常多的日志服务的解决方案。
    目前采用最多的日志服务的解决方案，是 ELK 搭建的日志服务

    开源解决方案：
        ELK

    商业解决方案:
        阿里云 SLS、腾讯云 CLS、华为云 LTS
        Splunk

 ELK 搭建一个日志服务:
    
    1.Elasticsearch 搭建
        Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心，它集中存储您的数据。
    
    2. Logstash 搭建
        Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。
        输入（Input）【必选】： 数据（包含但不限于日志）往往都是以不同的形式、格式存储在不同的系统中，而 Logstash 支持从多种数据源中收集数据（File、Syslog、mysql、消息中间件等等）
        过滤器（Filter）【可选】 ：实时解析和转换数据，识别已命名的字段以构建结构，并将它们转换成通用格式
        输出（Output）【必选】 ：Elasticsearch 并非存储的唯一选择，Logstash 提供很多输出选择
        在 logstash-sample.conf 配置文件中，我们配置了 Input 和 Output
        Logstash 是基于 JVM 的重量级的采集器，对系统的 CPU、内存、IO 等等资源占用非常高，这样可能影响服务器上的其它服务的运行，所以，Elastic NV 推出 Beats ，基于 Go 的轻量级采集器
    
    
    
    3.Beats 搭建
        Beats 是一个全品类采集器的系列，包含多个：
            Filebeat ：轻量型日志采集器。
            Metricbeat ：轻量型指标采集器。
            Packetbeat ：轻量型网络数据采集器。
            Winlogbeat ：轻量型 Windows 事件日志采集器。
            Auditbeat ：轻量型审计日志采集器。
            Heartbeat ：面向运行状态监测的轻量型采集器。
            Functionbeat ：面向云端数据的无服务器采集器。
        
    4.Kibana 搭建
        通过 Kibana，您可以对自己的 Elasticsearch 进行可视化。