用于 Postgres 的 GCP Cloud SQL 查询日志记录

Posted 2023-03-26

【中文标题】用于 Postgres 的 GCP Cloud SQL 查询日志记录

【英文标题】：GCP Cloud SQL Query Logging for Postgres

【发布时间】：2021-03-25 06:17:57

【问题描述】：

我已经苦苦挣扎了几个星期，试图让 Cloud SQL Postgres 实例来执行任何类型的查询日志记录，但我却一无所获。我意识到这应该是一个超级简单的练习，但我没有更多的解释可以给出，因为它似乎不起作用。

我尝试设置以下标志：

log_min_duration_statement 的值为 0、100、500 和 1000。

log_statement 的值为 'ddl'、'mod' 和 'all'。

log_statement_stats 设置为“开启”。

我还尝试了此处列出的其他“可能的嫌疑人”：https://cloud.google.com/sql/docs/postgres/flags，但均无济于事。

我什至尝试过启用 pgaudit 日志，但似乎没有任何作用。

鉴于此，这些数据总是有可能被记录，但我只是没有找到它，所以在 stackdriver 中，我的过滤器是：

resource.type="cloudsql_database"
resource.labels.database_id="<<project-name>>:<<instance-name>>"

这向我显示了数据库上发生的任何错误，例如查询不存在的表，或尝试比较两种不同的数据类型，但没有任何类型的查询。

我什至已经扫描了我们所有的日志：

textPayload:"select"

这也没有出现任何东西。

任何建议、提示或技巧将不胜感激！

编辑：附加信息。

我正在测试的实例如下图所示：

我能够在我的所有架构上创建 pgaudit 扩展而不会出现任何错误。 psql 客户端只是回显“CREATE EXTENSION”。

我使用私有 IP 从 GKE 环境连接到实例，我的应用程序同时运行 DDL 和 DML 语句。

这是我在云控制台的访问部分中为云 SQL 启用的“审核日志”的图像：

这是我用于负载测试的全新实例，所以每天早上我都会使用 terraform 脚本创建一个新实例，以下是相关资源：

resource "google_sql_database_instance" "loadtesting_postgres_master" 
   database_version = "POSTGRES_12"
   name             = "loadtesting-test-instance-12"
   project          = "$var.projectId"
   region           = "$var.region"

   depends_on = ["google_service_networking_connection.private_vpc_connection"]
   deletion_protection = false

   settings 

activation_policy = "ALWAYS"
availability_type = "ZONAL"

backup_configuration 
  binary_log_enabled             = "false"
  enabled                        = "true"
  location                       = "eu"
  point_in_time_recovery_enabled = "true"
  start_time                     = "03:00"


disk_autoresize        = "false"
disk_size              = "1000"
disk_type              = "PD_SSD"

ip_configuration 
  ipv4_enabled    = "true"
  private_network = "projects/my-project-name/global/networks/loadtesting-vpc"
  require_ssl     = "false"


location_preference 
  zone = "$var.region"


maintenance_window 
  day  = "7"
  hour = "0"


pricing_plan     = "PER_USE"
tier             = "db-custom-8-15360"
  

实例启动后，我手动添加您推荐的两个标志，一次一个。

在我的每个架构上手动创建 pg 审计扩展，然后开始运行我的测试。

在 stackdriver 上仍然没有任何记录。

【参考方案1】：

看来您需要启用pgaudit flags。 （目前处于测试阶段）

总结链接：

INSTANCE_NAME=sql-playground
gcloud sql instances patch $INSTANCE_NAME --database-flags cloudsql.enable_pgaudit=on`
gcloud sql connect $INSTANCE_NAME

进入数据库后，运行：

> CREATE EXTENSION pgaudit;

然后回到 gcloud 土地：

gcloud sql instances patch $INSTANCE_NAME --database-flags \
  cloudsql.enable_pgaudit=on,pgaudit.log=all

它需要一两次重启，中间有几分钟，但我确实让它记录了语句：

当然，在生产环境中要小心，以及 PII 数据等。

【讨论】：

你知道它是否存在与 Cloud SQL mysql 数据库相同的“EXTENSION”技巧吗？

很遗憾，感谢您的反馈 - 这似乎对我不起作用。我已经在数据库实例上启用了两个相关标志，我已经在实例上的所有模式上创建了扩展，并且我已经在此页面上启用了“Cloud SQL”的所有审计日志：@987654323 @>>，但仍然没有任何内容登录到 stackdriver。

@guillaumeblaquiere，也许检查 here 的 MySQL。

@DuncanGener8，我无需在审核日志中执行任何操作即可获得该屏幕截图。我没有在该页面上检查该项目。您使用的是 PostgreSQL 12 吗？您是否看到 Cloud SQL 实例中设置的标志？ CREATE EXTENSION pgaudit; 命令是否正确返回？

【参考方案2】：

考虑到您需要启用 Data Access Audit Logs，但日志仅写入 Cloud Logging if the operation is an authenticated user-driven API call。

尽管该产品仍处于 GA 前产品条款中，但我建议您按照relevant section of the public docs 中的说明测试pgaudit 扩展。这些步骤非常简单，您应该这样做：

通过发出gcloud sql instances patch [INSTANCE_NAME] --database-flags cloudsql.enable_pgaudit=on 在实例上启用相关标志。 通过使用具有 cloudsqlsuperuser 角色的用户使用 psql 客户端登录到实例，使用该命令在实例（或特定数据库）中创建扩展：CREATE EXTENSION pgaudit; 设置 pgaudit.log 标志的值（例如，打开实例中的所有数据库操作：gcloud sql instances patch [INSTANCE_NAME] --database-flags cloudsql.enable_pgaudit=on,pgaudit.log=all）。

请注意，根据您的数据库接收到的负载，启用这些标志可能会转换为CPU and memory overload，因此根据您当前的负载过度配置分配给实例的层可能是明智的，并且启用此类日志可能会增加转换在 Billing 中，您将能够看到 cloudaudit.googleapis.com/data_access Data access audit logs that are charged separately 中的日志。

【讨论】：

很遗憾，感谢您的反馈 - 这似乎对我不起作用。我已经在数据库实例上启用了两个相关标志，我已经在实例上的所有模式上创建了扩展，并且我已经在此页面上启用了“Cloud SQL”的所有审核日志：@987654326 @>>，但仍然没有任何内容被注销到堆栈驱动程序。

我不确定是否需要进行任何其他配置。您是否介意发布一些详细信息以尝试最小的、可重复的设置示例，包括 PostgreSQL 版本、使用的所有标志、实例的层特征、您对应用程序进行查询的确切方式、您正在使用什么类型的查询等。

【参考方案3】：

您可能还需要考虑验证您的用户是否具有roles/logging.privateLogViewer“私人日志查看者”角色。每https://cloud.google.com/logging/docs/access-control#considerations：

roles/logging.privateLogViewer (Private Logs Viewer) includes roles/logging.viewer, plus the ability to read Access Transparency logs and Data Access audit logs in the _Required and _Default buckets.

我们费了很长时间才弄清楚为什么我们自己没有看到这些日志，结果是“日志查看者”角色不足以读取这些数据访问日志。