处理由并行工作人员生成的日志文件的工具（例如，通过构建系统）

Posted 2023-04-18

【中文标题】处理由并行工作人员生成的日志文件的工具（例如，通过构建系统）

【英文标题】：Tool to work with log file produced by parallel workers (e.g. by build system)

【发布时间】：2013-11-28 08:19:33

【问题描述】：

我们有一个构建系统，可以将并行工作人员的日志写入同一个文件。 我正在寻找使用此类日志简化生活的工具。

此日志文件中的每一行都是任意文本字符串，以工作人员 ID 开头。例如：

11> compiling my.cpp
14> compiling your.cpp
7> ***starting linking***
7> Linking project CoreEngine...
14> compiling my2.cpp

11、14 和 7 在这里做无关的工作。

有时单个工作人员生成的日志记录相隔数千行。我正在寻找一种优化这种体验的方法。最好隐藏所有不相关的记录，只看有趣的记录。

作为奖励 - 有时工作人员可以使用新 ID 启动一个新工作人员并发送一些持续的文本消息。也可以以某种方式跟踪这些依赖关系。

有人知道可以帮助解决此问题的工具吗？

我确实在互联网和这里搜索过，还没有明显的答案。

谢谢！

【参考方案1】：

如果您正在寻找一种工具，那么 grep 可能就是这里的简单工具。您可以提取单个工作线程。

如果您几乎可以使用任何语言进行编码，那么您最好编写自己的解析器并以最易读的格式以您想要的方式输出数据。