Logstash RSS Feed（重复数据删除并提取某些数据）

Posted 2021-04-08

我试图从RSS提要中提取信息。我遇到了两个问题。

1. 第一个是每次按下Logstash间隔时我都会收到重复条目，它当前设置为5分钟。处理这个问题的最佳方法是什么？
2. 第二个是我不确定从每个Feed条目获取某些数据的最佳方法，因为我不想要所有信息。我试过测试grok但我不确定这是最好的选择

我已经包括从低于进料的样品条目：https://www.virustotal.com/file/c84d547d76dcfce40ded583da665861a6fcdced426214dd78f6f62b07d7c4c5d/analysis/ c84d547d76dcfce40ded583da665861a6fcdced426214dd78f6f62b07d7c4c5d-2019年2月18日15：00：52-EPZCHLTUWDGK-notification.subject星期一，2019年2月18日15点〇〇分52秒0000 MD5：b1d723b18e879b4f6d350995c4133890 SHA1：03ebe11cb413ca15022906844cdf628c708e666c SHA256： 0b3a0f9282bbb91d5d7770ec4cf392bb0c69da9074ecba6b464ec1a3868ad840大小：1357312类型：Win32 EXE肯定：49总计：65首次提交内容：2019-02-18 14:53:18上次提交内容：2019-02-18 14:53:18扫描：数据规则集：EPZCHLTUWDGK规则：zeus_v1匹配：id：5374337132199936

答案

最后利用python中的JSON模块来处理这个问题。还使用数据中的一个字段作为键来比较进入Feed的未来项目，如果密钥存在，则只准备忽略它。