流式分析查询产生的不仅仅是实时数据

Posted

技术标签:

【中文标题】流式分析查询产生的不仅仅是实时数据【英文标题】:Streaming Analytics Query Yielding More Than Real Time Data 【发布时间】:2016-03-29 19:23:06 【问题描述】:

我最近设置了一项流式分析作业,该作业从每月捕获大约 1000 个事件的事件中心提取数据。我想从事件中心提取实时数据并显示接近实时的数据。我输入了以下查询,成功将数据下载到流式分析作业:

    SELECT system.timestamp AS time
    , city
    , state
    , zip
    , hascontactedconsultant
    , websiteguideid
    , status
    , assignedto
    , type
    , COUNT(type)
INTO ttvleadsstream
FROM   ttvhuball
GROUP BY time
      , city
      , state
      , zip
      , hascontactedconsultant
      , websiteguideid
      , status
      , assignedto
      , type
      , TumblingWindow(ss, 5);

但是,当我在 PowerBI 在线服务中检查数据集时,我注意到数据一直在捕获和显示从现在到昨天的事件。我没有看到我的查询中导致数据保留超过 5 秒的内容。有什么想法吗?

【问题讨论】:

"我注意到数据从现在一直到昨天一直在捕获和显示事件。我没有看到我的查询中导致数据保留超过 5 秒的原因。”我很困惑。它是在 Power BI 中显示一天的数据还是仅显示 5 秒?截图? 没有问题需要解决。 Power BI 是一个不同的系统。 Power BI 数据集由 Power BI 处理,即使它是由事件分析创建的。如果您不删除旧数据,或不调整报告的时间范围,您将看到旧数据。在任何情况下,Event Analytics 都不处理输出存储,它只发送数据到输出。 【参考方案1】:

根据您的查询,如果有事件,Azure 流分析将每 5 秒输出一次。

看起来您正在将数据发送到 PowerBI。 PowerBI 根据保留策略删除旧数据。有关该政策的详细信息,请点击此处。

https://msdn.microsoft.com/en-us/library/mt186545.aspx

粗略地说,它只会在满足某些阈值时清除旧数据。这可能是您看到旧数据的原因。

【讨论】:

以上是关于流式分析查询产生的不仅仅是实时数据的主要内容,如果未能解决你的问题,请参考以下文章

流式计算形态下的大数据分析

实时数据流式分析改变商业游戏规则

实时数据流式分析改变商业游戏规则

实时数据流式分析改变商业游戏规则

基于 MaxCompute 的实时数据处理实践

Storm 第一章 核心组件及编程模型