ELK 用于 Windows 日志处理

Posted

技术标签:

【中文标题】ELK 用于 Windows 日志处理【英文标题】:ELK for windows logs processing 【发布时间】:2015-04-10 08:16:20 【问题描述】:

我已经在 Debian Wheezy 上创建了一个工作的 ELK 堆栈,并设置了 Nxlog 来收集 Windows 日志。我在 Kibana 中看到了日志 - 一切正常,但我得到了太多数据,想通过删除一些我不需要的字段来过滤它。

我制作了一个过滤器部分,但它根本不起作用。可能是什么原因? 上面的过滤器

input 
tcp 
    type   => "eventlog"
    port   => 3515
    format => "json"
        

filter 
    type => "eventlog"
   mutate 
           remove =>  "Hostname",  "Keywords", "SeverityValue", "Severity", "SourceName", "ProviderGuid" 
           remove =>  "Version", "Task", "OpcodeValue", "RecordNumber", "ProcessID", "ThreadID", "Channel" 
           remove =>  "Category", "Opcode", "SubjectUserSid", "SubjectUserName",  "SubjectDomainName" 
           remove =>  "SubjectLogonId", "ObjectType", "IpPort", "AccessMask", "AccessList", "AccessReason" 
           remove =>  "EventReceivedTime", "SourceModuleName", "SourceModuleType", "@version", "type" 
           remove =>  "_index", "_type", "_id", "_score", "_source", "KeyLength", "TargetUserSid" 
           remove =>  "TargetDomainName", "TargetLogonId", "LogonType", "LogonProcessName", "AuthenticationPackageName" 
           remove =>  "LogonGuid", "TransmittedServices", "LmPackageName", "ProcessName", "ImpersonationLevel" 
           
     
output 
elasticsearch 
    cluster => "wisp"
    node_name => "io"
    

【问题讨论】:

【参考方案1】:

我认为您尝试删除某些日志中不存在的字段。 您的所有日志是否都包含您要删除的所有字段? 如果没有,您必须在删除字段之前识别您的日志。 您的过滤器配置将如下所示:

filter 
    type => "eventlog"
    if [somefield] == "somevalue" 
        mutate 
            remove =>  "specificfieldtoremove1", "specificfieldtoremove2" 
        
    

【讨论】:

问题是不再支持 remove 指令,当我使用 remove_field 时一切正常 我没有注意到您没有使用 remove_field 指令。但是,是的,不再有 remove 指令了。很高兴知道一切正常。

以上是关于ELK 用于 Windows 日志处理的主要内容,如果未能解决你的问题,请参考以下文章

在Windows系统下搭建ELK日志分析平台

Windows10-ELK安装配置

在Windows系统下搭建ELK日志分析平台

windows下kafka+ELK的日志系统

windows 10下ELK环境快速搭建实践

Windows系统下Log4Net+FileBeat+ELK日志分析系统问题总结