ELK Stack搭建和使用中的一些小记录

Posted 2023-01-31

       ELK Stack是非常很强大的一套东西,同样也意味着比较复杂。去年在搭建这套东西时，
也被折腾的够累的.主要是些小坑，知道了的话其实没什么，非常简单，不知道话，还是有点急人的。
   数据采集用的Beats系列，这玩意是用Go写的,比直接用Logstash,性能要更好,分工也更明确.
      Packetbeat :  用来嗅探和分析网络流量，如HTTP、mysql、Redis等
      Topbeat: 用来收集系统的监控信息，功能如其名，类似*nix下的top命令.

      Filebeat: 用来收集数据源是文件的数据，比如常见的系统日志、应用日志、网站日志等.

采集完了丢给Logstash,处理完毕后，上传到AWS的Elasticsearch服务(这里有个坑卡了我好久)完事.

       Logstash有很多的功能，比如N多的插件，比如丰富的Grok等等，我很多处理都要靠它，

但可能是我没用对，我发现其实它的一些插件在生产环境有些也不是那么靠谱的。

比如有个插件

​​http_poller​​。

httppoller.conf:

input 
  http_poller 
    urls => 
      test1 => "http://localhost:8090"

      test2  => 
        type => "aa"
        tags => ["aaa","aaaa"]
        method => get
        url => "http://test2.xxx.com/pong"
      

      test3 => 
        method => get
        url => "http://test3.xxx.com/pong"
        headers => 
          Accept => "application/json"
        
        auth => 
          user => "xcl"
          password => "pwd"
        
      


    
    request_timeout => 60
    interval => 60
    #codec => "json"
    metadata_target => "http_poller_metadata"
  


filter 
    if [http_poller_metadata] 
      mutate 
        add_field => 
          "host" => "%http_poller_metadata[name]"
        
      
    


output 
  stdout 
    codec => rubydebug
  

./bin/logstash -f  httppoller.conf

当HTTP服务不能访问时，会返回"_http_request_failure"

      我在本地怎么测试都ok的，部署后简单测试了下，也没发现问题，但不久就发现，当日志服务器很繁忙时，

这个插件其实达不到所要的效果，老是误报.最后只好自己开发了个服务来做这件事。所以用插件时，一定在生

产环境观察或测试一段时间,千万不要简单测试一下就不管了。

      另外，如果logstash的一些插件不以满足，又不想研究JRuby之类，可以考虑直接用exec，将数据传

到外面直接自己处理.

     exec

              command => " ...... "

         

      还有一点，在生产环境，如果修改了对应的conf文件，一定要注意先"configtest"一下，毕竟，conf

如果做了很多处理，很复杂的情况下，先确保修改后的conf格式是否正确还是很有必要的.

   ./bin/logstash -f xxx.conf --configtest

       最后还有一个要提醒的东西是调试，logstash的处理正不正确，除了看日志，可以在启动时加"-v v"

能实时看到很多东西，但最好在测试环境用。  

       有很多小坑和小心得，不一一写了，不过ELK Stack确实非常好用,也还有很多东西需要去挖掘，我基于它，

并整合其它服务，用Golang搭起了一套运维告警系统(包含邮件，微信实时通知及数据分析等)的骨架。

现在基本已离不开这套东西了。