fluentd 如何使这种情况受益？

Posted 2023-04-18

【中文标题】fluentd 如何使这种情况受益？

【英文标题】：How does fluentd benefit this scenario?

【发布时间】：2013-05-13 12:53:58

【问题描述】：

我遇到过Fluentd。当它很容易将原始数据直接存储在数据库上时，为什么要使用这样的东西？我可能会误解这里使用的技术。很高兴听到一些反馈。

当它很容易捕获原始数据并将其存储在您自己的数据存储中时，为什么会有人想要通过另一个层？

考虑这种情况。我想存储页面浏览量。原始数据存储在 RDBMS 中，格式化数据存储在 Mongodb 这是我当前设置的简短描述：

当用户访问我的网站时。我的应用程序（Rails）将 IP 解析为匹配一个国家。解析 IP 后，我将原始数据存储到 RDBMS 中。我有一个 worker/cron 运行，每小时将所有原始数据处理成一个 Mongo 文档。为什么我需要流利？在这种情况下使用日志框架有什么好处？

【参考方案1】：

您无需制作/维护自己的工人来搬运物品 在您的第一个 RDBMS 和 Mongo 之间。 您可以轻松实现将数据移入 Mongo 的过程的并行化和冗余。您可以将其构建到您的 worker/cron 工作中，但为什么要重新发明***？ 您问为什么有人会想要另一层。您的 worker/cron 作业是另一层，但测试的方式比 Fluentd 少。 你会得到一堆免费的插件，所以如果你想开始将数据添加到 Mongo 之外的其他地方（即 Storm、S3、HDFS 等），你可以通过编辑配置文件轻松地做到这一点而不是自己编写一堆代码。 您有许多免费的内置选项，例如刷新数据的频率/刷新数据的大小。 最重要的是：您将整个日志记录/数据输入工作流程从您的应用程序框中卸载，因此如果您的应用程序框上的数据插入过程出现任何问题，问题将出现并在您的Fluent 日志聚合器框，而不是您的应用框。