s3 和发电机配置不适用于 Loki

Posted

技术标签:

【中文标题】s3 和发电机配置不适用于 Loki【英文标题】:s3 and dynamo configuration not working for Loki 【发布时间】:2020-10-19 15:52:12 【问题描述】:

我已将 Loki 配置为在 s3 中保存数据并在 dynamodb 中保存索引 https://github.com/grafana/loki/blob/fb318152fe28486640668563548b125c00c7f52b/docs/aws_storage.md

但 pod 无法启动并出现错误

level=error ts=2020-06-29T13:04:33.086757753Z caller=table_manager.go:176 msg="error syncing tables" err="InvalidEndpointURL: invalid endpoint uri\ncaused by: parse https://dynamodb.A****A:0.amazonaws.com/: invalid port \":0.amazonaws.com\" after host"

所以目前的配置是

config:
  table_manager:
    retention_deletes_enabled: true
  schema_config:
    configs:
    - from: 2020-01-01
      store: aws
      object_store: aws
      schema: v9
      index:
        prefix: loki_index
        period: 0
  storage_config:
    aws: 
      s3: s3://A***A:0/u***K@eu-west-1/xms-loki-master
      dynamodbconfig:
        dynamodb: dynamodb://A***A:0/u***K@eu-west-1

【问题讨论】:

【参考方案1】:

迟到总比没有好。 您可能会遇到访问密钥中有“/”或“0/”的问题。 两种解决方案:要么重新生成一个新的访问密钥并确保其中没有斜杠,要么按照此处的建议对密钥进行 url 编码(将 / 替换为 %2F): https://github.com/grafana/loki/issues/1607

【讨论】:

以上是关于s3 和发电机配置不适用于 Loki的主要内容,如果未能解决你的问题,请参考以下文章

Loki 保留期 s3 + dynamo

评测Loki日志工具

Amazon S3 CORS 适用于 HTTP,但不适用于 HTTPS

terraform 参考现有的 s3 存储桶和发电机表

MakeCode EV3 电机反转不适用于 motor.xx.tank

loki日志收集系统部署