处理大量日志/事务
Posted
技术标签:
【中文标题】处理大量日志/事务【英文标题】：Handling Logs/Transactions of huge volume 【发布时间】：2017-06-05 18:39:12 【问题描述】：我们有一个部署在三个不同数据中心的多线程企业应用程序，它们从上游系统接收队列中的 XML 消息。应用程序消耗的数据量非常巨大，系统写入的日志大约为 200GB/小时。日志的维护时间非常短。该应用程序基本上写入 cassandra DB / IBM Extreme Scale Grid / Oracle DB。现在确切的问题是，我们没有跟踪应用程序接收/处理的事务。就是说，上游系统存在很多数据同步问题，我们无法跟踪一段时间后我们是否成功接收/处理了消息。由于我们的基础设施限制，我们也没有能力保存消息或将日志重定向到任何大数据文件系统。有没有办法可以解决这个问题。请提供您的cmets和建议。提前致谢。
【问题讨论】：
【参考方案1】：对于问题确定，最简单和最简单的方法是确保每条 XML 消息都有一个唯一的事务 ID。因此，您的应用程序记录/存储事务 ID，而不是整个 XML 消息。当出现问题时，您可以比较缺少/缺失的事务 ID。以及缺少的事务 id，您让发送方应用程序重新发送 XML 消息。
【讨论】：
以上是关于处理大量日志/事务的主要内容，如果未能解决你的问题，请参考以下文章