Apache Beam 记录带有错误标签的消息

Posted 2023-03-25

【中文标题】Apache Beam 记录带有错误标签的消息

【英文标题】：Apache Beam logs messages with the wrong tags

【发布时间】：2020-09-15 00:38:06

【问题描述】：

错误日志不会登录到 GCP 控制台。警告日志会记录为信息（所以我一直在使用它们来记录信息消息） .例如，

test = "hello debug world" 
logging.warning("%s", test) # will log as info message in GCP dataflow console

信息日志也不登录控制台。

我正在使用 Apache Beam Python 3.7 SDK 2.23.0，but this seems to be an old issue。

Apache Beam SDK 本身也会发生这种情况，它有时会以静默方式将错误记录为信息。

知道是什么原因造成的吗？似乎是 Apache Beam 方面的一个错误，而不是脚本错误。

【问题讨论】：

你在使用 Python 吗？根据文档 (cloud.google.com/dataflow/docs/guides/logging#java:-sdk-2.x_4)，您可以更改 Java 的日志级别，但不能更改 Python

我相信这可能与它有关，是的。

【参考方案1】：

您必须将下拉值从 Info 更改为更高的日志级别才能看到 Error 或 Warning 类型的消息。在屏幕截图中，日志级别设置为 Info，您正在日志条目中搜索字符串错误，并且 stackdriver 正在根据它进行过滤。

【讨论】：

问题是，当我这样做时，它们并不存在。也就是说，如果我自己记录警告消息，则切换下拉列表不会显示它们。他们只是不工作。很抱歉没有粘贴更多关于此的屏幕截图。