Splunk 和其他数据库解决方案

Posted 2023-04-18

【中文标题】Splunk 和其他数据库解决方案

【英文标题】：Splunk and other DB solutions

【发布时间】：2012-10-24 15:09:34

【问题描述】：

我需要编写一个存储大量结构化和非结构化数据的系统。我的查询将查找文本以及二进制信息。

我正在寻找适合这些要求的解决方案。我遇到了 Splunk，它似乎非常用户友好并且提供了一个不错的 API。但是，它似乎非常面向日志，并且似乎只支持文本搜索（无二进制）。我的数据不是日志，它只是我需要在其中搜索的大量原始文本/二进制数据...

所以我的问题是：

Splunk 能否很好地解决我的问题？有没有办法进行二分搜索？ 是否有更好的解决方案？也许是 Hadoop（我又读了一点，我不确定这是否是我正在寻找的东西）？

谢谢！

【参考方案1】：

Splunk 将支持各种非结构化、半结构化和结构化机器数据，日志只是机器数据的其中一个示例。其他可能是 syslog 提要、JMX/SNMP 指标、操作系统命令的输出、呼叫详细记录、点击流指标、专有管理/监控接口的输出、社交媒体提要等。列表很庞大。

就二进制数据而言，您需要先将其推出并将其解码为文本，而许多人实际上都是这样做的，即：捕获网络的二进制数据，例如专有协议，并对其进行解码。

另外，请注意，Splunk 不使用数据库，它收集数据并将其索引为磁盘上的简单压缩文件格式。然后它的架构允许它向外扩展以允许收集和搜索所有这些数据大规模。

【讨论】：

感谢您的帮助！关于二进制数据问题 - 我的二进制数据有时没有文字意义......例如我想存储文件内容（比如可执行文件），然后在我存储的所有文件中搜索二进制模式。这种情况有解决办法吗？