如何将 pubsub 日志接收器创建到不同的谷歌云项目/组织？

Posted 2023-02-16

【中文标题】如何将 pubsub 日志接收器创建到不同的谷歌云项目/组织？

【英文标题】：How can I create a pubsub log sink to a different google cloud project/org?

【发布时间】：2018-06-14 13:38:57

【问题描述】：

我想定义从一个项目到另一个项目的 pubsub 日志导出接收器的步骤。作为次要目标，我希望接收器连接组织。到目前为止，我已按照gcloud 帮助页面和auth documentation 中概述的这些步骤进行操作。

首先我创建了一个接收器：

# from project A
gcloud logging sinks create \
    <sink_name> \
    pubsub.googleapis.com/projects/<project_B>/topics/<topic_name> \
    --log-filter <filter>

CLI 成功返回，并就为其创建的服务帐户设置权限提供了一些建议：

Created [https://logging.googleapis.com/v2/projects/<project_A>/sinks/<sink_name>].
Please remember to grant `serviceAccount:<new_user>@logging-<project_A_account_number>.iam.gserviceaccount.com` Pub/Sub Publisher role to the topic.
More information about sinks can be found at https://cloud.google.com/logging/docs/export/configure_export

根据此建议，我为新服务帐户授予了该主题的适当权限。

gcloud projects add-iam-policy-binding <project_B> \
    --member serviceAccount:<new_user>@logging-<project_A_account_numbe_id>.iam.gserviceaccount.com \
    --role roles/pubsub.publisher

此命令返回没有问题。

尽管看起来一切正常，但没有日志流过接收器。

这里有一些线索： 日志查看器上的导出选项卡报告接收器中的权限错误。 “项目活动”选项卡报告了权限问题。

Image: Logs Viewer, Exports

Image: Project, Activity

是否有解决方案来完成这项工作？是否可以将其概括为从其他 gcloud 组织将日志发送到该项目中的接收器？

【参考方案1】：

我已经能够重现您想要的场景。让我为场景描述设置基础：

Project A

（存储我的日志的地方）：project-a

项目 B

（我的 Pub/Sub 主题和订阅所在的位置）：project-b

主题

：projects/project-b/topics/myTopic

订阅

：我的订阅

接收器

：测试接收器

那么，这就是我遵循的处理：

在项目 A 中： 在 Google Cloud Console 的 Logging > Logs 标签中为日志创建过滤器。

使用下图中的元素创建导出（请记住将 pubsub.googleapis.com/ 附加到您在其他项目中的主题名称）：

移动到 Exports 选项卡并复制 Writer Identity，其格式应为 [e-mail]

在项目 B 中： 转到控制台中的 IAM & admin > IAM 选项卡，然后添加一个新成员，该成员是在步骤 3 中获得的上一个服务帐户角色 Pub/Sub Editor 已启用。

使用命令 gcloud beta pubsub subscriptions create --topic myTopic mySub 创建 Pub/Sub 订阅

执行一些操作，导致您在项目 A 中指定的过滤器读取日志。

使用订阅，使用命令gcloud beta pubsub subscriptions pull mySub，使用写入主题的日志。

在那里，您会发现从项目 A 写入到项目 B 中的热带的日志。我已经重现了从一个简单的 App Engine 应用程序写入日志的相同场景（因此使用适当的日志过滤器搜索 App Engine 日志） ，当我向 App Engine 应用程序发出请求时，会创建一些日志，然后将其写入 myTopic，我可以使用 mySub 读取这些日志。

关于您的第二个问题，我无法确定相同的程序是否适用于跨组织方案，但我认为没有任何问题。

【讨论】：

你节省了我一天的搜索量

【参考方案2】：

Matt，您用于创建接收器并将发布者角色授予接收器使用的服务帐户的 gcloud 命令看起来是正确的。您看到的错误可能是暂时的，应该会在一段时间后解决。 错误的可能原因可能是两个命令之间存在时间延迟，并且接收器在您授予 IAM 角色之前立即尝试导出日志。您能否确认错误最终会自行解决？

要回答您的最后一个问题，是的，您可以将日志从一个项目导出到不同组织中另一个项目的目标位置。