（十八）从零开始搭建k8s集群——使用KubeSphere管理平台搭建logstash服务

Posted 2022-05-07 北溟溟

前言

logstash是ELK日志管理服务的重要组件之一，本节内容我们实现使用kubesphere管理平台搭建一个可横向扩展的高可用logstash服务，用于日志收集。由于logstash是一个无状态的流处理软件，本身是没有集群方案的，我们这里只是做一个横向扩展。使用的镜像版本为logstash:8.1.3，这个要与前面elasticsearch的版本号一致，否则可能会有版本不兼容，发生未知的错误。

正文

• 创建logstash的配置文件logstash.yml与logstash.conf

- 点击配置->配置字典-创建，填写logstash基本配置信息，点击下一步

- 点击添加数据

- logstash.yml配置文件内容

#可访问的主机IP地址
http.host: "0.0.0.0"
#elasticsearch的服务地址
xpack.monitoring.elasticsearch.hosts: [ "http://app-es.app:9200" ]

- 填写logstash.yml配置，点对号添加

- logstash.conf配置文件内容

input
       #直接通过logback收集日志传输到logstash中
       tcp
           port => 5044
           type => "atp"
           codec => "json_lines"
       

 
output
    if [type] == 'atp'
        elasticsearch 
            #es地址
            hosts => "app-es.app:9200"
            #索引
            index => "elk-cluster-logstash-%[app]-%+YYYY.MM.dd"
        
    

- 填写logstash.conf配置，点对号添加，完成logstash日志采集规则的配置 

- 点击创建，完成logstash文件的配置

•  创建logstash服务

-点击应用负载->服务-创建，选择无状态服务，填写logstash服务基本配置信息

- 容器组副本数量选为3，点击添加容器镜像logstash:8.1.3，点击选择使用默认端口，勾选同步主机时区

- 点击对号，点击下一步，点击挂载配置字典或保密字典

- 填写logstash.yml文件的挂载配置信息，这里选择子路径方式挂载，并勾选选择特定的键，添加logstash.yml配置 

 -  同上操作填写logstash.conf文件的挂载配置信息，这里选择子路径方式挂载，并勾选选择特定的键，添加logstash.conf配置 

- 点击对号添加，完成logstash配置文件挂载，点击下一步

 - 选择外部访问，NodePort访问方式访问

 - 点击创建，完成logstash应用服务的创建

• 验证 

- 通过atp项目写入日志到logstash中，并使用kibana查询写入的日志

结语

至此，关于kubesphere平台搭建logstash服务到此就结束了，我们下期见。。。