在 KQL 中按属性聚合数据

Posted

技术标签:

【中文标题】在 KQL 中按属性聚合数据【英文标题】:Aggregate data by properties in KQL 【发布时间】:2021-05-05 11:37:32 【问题描述】:

这个问题是here的延续 我正在开展项目,目标是将荷兰的多家银行连接到我们的平台。

每次用户连接到一家银行时,我们都希望发送一个指标并将其显示在 Azure 仪表板中。我们已经在做,但我们想扩展它的功能。

customMetrics
| where name == "CustomerGrantedConsent" and customDimensions.IsInitialConsent == "True"
| extend BankName = customDimensions.BankName
| summarize Count = count() by tostring(BankName), bin(timestamp, 1d)
| order by BankName asc, timestamp asc
| serialize FirstConsents = row_cumsum(Count, BankName != prev(BankName))

通过此查询,我们能够汇总银行同意的总和,当它们发生时。这是迄今为止的结果。如您所见,我们希望将金额与时间相加。 我的意思是,如果昨天我们有 4 个同意,那么今天的总数将是: yesterday_count + today_count 4 + today_count

现在,如果今天没有同意,我们不会显示前一天的总和,这就是问题所在。 如果昨天我们对 BUNQ 有 4 个同意,今天我想显示至少 4 个:

    BUNQ 有 4 个连接 31-01-2021 BUNQ 今天总共至少有 4 个连接..

我们怎样才能做到这一点?

【问题讨论】:

以后请提供datatable格式的样例输入数据,方便复制粘贴,方便查询。您可以在 Kusto Explorer 中轻松完成此操作,方法是在结果窗格中选择几条记录,右键单击所选内容,然后选择“复制为 datatable() 运算符”。谢谢。 【参考方案1】:

您需要使用make-series 而不是summarize 才能拥有0s。方法如下:

datatable(Timestamp: datetime, BankName: string) [
    datetime(2021-01-29 08:00:00), "ABN AMRO",
    datetime(2021-01-29 09:00:00), "ABN AMRO",
    datetime(2021-01-28 09:00:00), "Invers",
    datetime(2021-01-28 10:00:00), "Invers",
    datetime(2021-01-28 11:00:00), "Invers",
    datetime(2021-01-29 08:00:00), "Invers",
    datetime(2021-01-29 09:00:00), "Invers",
]
| make-series Count = count() on Timestamp to now() step 1d by tostring(BankName)
| mv-expand Count to typeof(long), Timestamp to typeof(string)
| order by BankName asc, Timestamp asc
| extend FirstConsents = row_cumsum(Count, BankName != prev(BankName))

输出将是:

BankName Count Timestamp FirstConsents
ABN AMRO 2 2021-01-28 11:12:50 2
ABN AMRO 0 2021-01-29 11:12:50 2
ABN AMRO 0 2021-01-30 11:12:50 2
ABN AMRO 0 2021-01-31 11:12:50 2
Invers 3 2021-01-27 11:12:50 3
Invers 2 2021-01-28 11:12:50 5
Invers 0 2021-01-29 11:12:50 5
Invers 0 2021-01-30 11:12:50 5
Invers 0 2021-01-31 11:12:50 5

【讨论】:

这正是我想要的!

以上是关于在 KQL 中按属性聚合数据的主要内容,如果未能解决你的问题,请参考以下文章

Kibana:Kibana Query Language - KQL

在 Oracle SQL 中按时间间隔聚合数据

在雪花中按日期聚合数据组

在 PostgreSQL 的窗口函数中按降序聚合排序

在猫鼬聚合框架中按日期排序

在 MongoDB 中按年和月聚合查询