Azure 流分析作业无限运行

Posted 2023-05-08

【中文标题】Azure 流分析作业无限运行

【英文标题】：Azure Streaming Analytics Job Running Infinitely

【发布时间】：2020-07-09 15:15:11

【问题描述】：

我正在尝试通过 Microsoft 学习 - 使用 Azure 流分析实现数据流解决方案。我目前正在完成一个练习，我们设置一个作业来处理，使用查询对其进行转换，然后返回结果。

我遇到的问题是，当我开始工作时 - 它只是无限运行并且没有完成。我没有收到错误消息。当我检查文档时，它说这可能是输入的问题，但我已经回到我的输入文件并测试了数据并且它是可见的。

谁能指出我继续前进的正确方向？ 非常感谢

【问题讨论】：

如果我的回答对您有帮助，您可以接受它作为答案（单击答案旁边的复选标记，将其从灰色切换为已填充。）。这对其他社区成员可能是有益的。谢谢。

【参考方案1】：

注意：Azure 流分析作业会一直运行，直到我们手动停止作业。

可以通过 Azure 门户、Azure PowerShell、Azure SDK for .Net 或 REST API 轻松停止或删除 Azure 流分析作业。流分析作业一旦被删除就无法恢复。

MS 学习教程 - “Implement a Data Streaming Solution with Azure Streaming Analytics” - “Transform data by using Azure Stream Analytics”，该模块提供了有关如何创建 Azure 流分析作业、设置输入、编写转换查询和设置输出的基本示例.你使用 Azure 存储作为源和目标，并创建了一个转换查询来生成一些基本结果。您还学习了如何启动流分析作业并查看作业结果。

在摘要部分，他们提供了清理资源组中资源的方法。

清理

为避免不必要的费用，您需要删除为此模块创建的所有资源。这包括两个存储帐户和流分析作业。您可以单独删除这些帐户，但删除资源组 mslearn-streamanalytics 更容易：

使用搜索字段查找资源组。

选择组，然后选择删除资源组。

什么是 Azure 流分析？

Azure 流分析是一种实时分析和复杂的事件处理引擎，旨在同时分析和处理来自多个来源的大量快速流数据。模式和关系可以在从许多输入源（包括设备、传感器、点击流、社交媒体源和应用程序）中提取的信息中识别出来。这些模式可用于触发操作和启动工作流，例如创建警报、向报告工具提供信息或存储转换后的数据以供以后使用。此外，流分析可在 Azure IoT Edge 运行时使用，支持在 IoT 设备上处理数据。

以下场景是可以使用 Azure 流分析的示例：

分析来自 IoT 设备的实时遥测数据流 网络日志/点击流分析 用于车队管理和无人驾驶车辆的地理空间分析 高价值资产的远程监控和预测性维护 实时分析销售点数据以进行库存控制和异常检测

参考：Azure Stream Analytics Overview

【参考方案2】：

我也刚刚完成了这个单元。练习说启动管道“现在”，即当前时间。这将导致管道仅在管道开始运行后才开始处理数据。我还没有尝试过，但是如果您在管道启动后将新的 JSON 文档放入该文件夹中，它可能会处理得很好。

我通过指定“自定义”来修复它，并确保我在示例 JSON 输入放入源 blob 容器之前放置了一段时间（对我来说做了一个小时。）

在此更改之后，一旦管道启动，输出计数器几乎立即增加，我可以在正确的目录中看到结果。

【参考方案3】：

实际上，我遇到了同样的问题，在考虑了 5 分钟后，我记得这是流式传输作业（连续），直到你停止它才会完成。 转到您的输出 bob 容器并检查您是否有文件