Azure Blob 存储和流分析

Posted 2023-05-08

【中文标题】Azure Blob 存储和流分析

【英文标题】：Azure blob storage and stream analytics

【发布时间】：2015-06-30 20:29:45

【问题描述】：

在创建 blob 请求并向网站（仪表板）显示统计信息后，我读到了 azure blob 中的内容非常好，可以保存一些数据用于统计或其他内容。 但我不知道如何使用流分析来显示统计数据。它是一些用于创建查询以 blob 和生成 josn 数据的 SDK。或者……我不知道。 我对此还有更多疑问：

如何将数据保存到 blob（它是 json 数据或其他）。我不 知道它的格式数据问题。 如何使用流分析来创建对 blob 的请求，并在它获取数据后显示在仪表板中。

也许您知道如何使用这项技术。请帮帮我。感谢，并有一个愉快的一天。

【问题讨论】：

添加 blob 作为输入，并引用 JSON 文件。然后在 Stream Analytisc 中编写一个查询来查询它。

@PhucHDuong 好的，如果我添加 10000 个文件，如何在流分析中创建查询？只选择了一些文件？

这不是真的推荐，因为我认为您必须一个一个地添加每个文件...您可以合并文件吗？如果是 JSON，你可以编写一个脚本来加入它们。

【参考方案1】：

@Taras - 您是否有机会玩弄流分析 UI？

添加 blob 输入时，您可以添加整个容器 - 这意味着流分析将扫描整个容器以查找新文件，或者您可以指定路径前缀模式，这将使流分析仅查看该路径。

您还可以在路径前缀模式上指定诸如 date、time 之类的标记，以帮助引导流分析读取要读取的文件。

一般来说 - 强烈建议使用事件中心作为输入以改善延迟。

至于输出 - 您可以使用 Power BI，它可以为您提供交互式仪表板，也可以输出到某些存储（blob、表、SQL 等）并在此基础上构建仪表板。

您也可以尝试做一个演练来感受流分析：https://azure.microsoft.com/en-us/documentation/articles/stream-analytics-twitter-sentiment-analysis-trends/

谢谢！

Ziv.

【讨论】：

谢谢，这正是我需要的。

@Ziv 我的场景就像我使用 blob 作为流分析输入（参考数据）以及 iotHub 流输入。我的流分析将一些警报发布到事件中心。问题是当我更新 blob 文件（json 文件）时，流分析不会读取最新文件。我有一些用 blob 编写的逻辑，需要应用于生成警报。你对此有什么想法吗？

Event-Hub 方法有一个 Blob 克服的基本弱点：如果我的 iot 设备并不总是在线且可访问，那么数据点将被丢弃。使用 blob 方法，我可以重试，直到我的本地缓存数据集安全地传输到云 blob，然后启动流分析......或者 Event-Hub 是否有几个 1MB+ 的本地（物联网客户端）队列?