为啥 Azure 流分析将数据输出到单独的文件？

Posted 2023-05-08

【中文标题】为啥 Azure 流分析将数据输出到单独的文件？

【英文标题】：Why does Azure Stream Analytics outputs data to seperate files?为什么 Azure 流分析将数据输出到单独的文件？

【发布时间】：2017-11-21 22:54:08

【问题描述】：

为什么在使用 Azure Data Lake 或 Azure Blob Storage 时流分析会创建单独的文件？有时流在一个文件中运行数天，而其他时候每天都会制作几个新文件。好像比较随意？

我将数据输出到 CSV，查询保持不变，并且不时生成一个新文件。

我希望它有一个大的 CSV 文件，因为我希望能够使用 Power BI 对数据运行长期统计信息，但是当它们都是具有看似随机名称的单独文件时，这似乎是不可能的。

【参考方案1】：

https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-define-outputs - 此页面包含有关何时创建新文件的详细信息。在您的情况下，很可能是由于内部重启。

【讨论】：

感谢您的回复。看来确实如此。然而，在 Azure Data Lake 或 Blob Storage 中将数据作为一个整体处理使得这在 Power BI 中变得相当困难。如何在 Power BI 中将所有文件作为一个数据集接收？我认为这是不可能的。

在 Power BI 中，您可以从“文件夹”导入数据并将所有数据文件组合在一起。

@JSAzure 你有这方面的例子或文档吗？如果是这样，我的问题就解决了:-)

这是 Excel 文件的教程：它也适用于 CSV：powerbi.microsoft.com/en-us/blog/… 唯一的要求是 PowerBI 可以访问该文件夹。不过，我还没有直接尝试过使用 Blob 容器。

谢谢！我似乎让它运行起来。我使用了您的链接和以下链接的组合：dutchdatadude.com/loading-multiple-json-files-using-power-query