使用 Elastic Stack 对 Azure Data Lake Storage Gen2 中的数据进行实时数据分析

Posted 2023-05-08

【中文标题】使用 Elastic Stack 对 Azure Data Lake Storage Gen2 中的数据进行实时数据分析

【英文标题】：Realtime data analytics using Elastic Stack on data residing in Azure Data Lake Storage Gen2

【发布时间】：2021-10-11 04:56:22

【问题描述】：

当数据驻留在 Azure Data Lake Storage Gen2 上时，我们如何创建实时数据管道，并且必须使用 Elastic Stack 完成分析。

完成此设计的集成工具或技术是什么？

【问题讨论】：

这似乎是一个单词沙拉问题。您可能应该考虑您的要求和限制，并聘请架构师为您解决这个问题。也许您也可以阅读以下内容：elastic.co/blog/deploying-elasticsearch-on-microsoft-azure 仅供参考，Azure 上的实时集成通常通过事件中心 + 流分析来完成。批量数据集成是使用 Azure 数据工厂完成的。

【参考方案1】：

正如@Nick.McDermaid 在评论中提到的，您需要重新考虑您的设计。 AFAIK 没有这样的工具可以集成 Azure Data Lake Gen2 和 Elastic Stack 进行实时分析。

或者，实现您的要求的更好方法是使用专为实时分析设计的 Azure 产品，例如 Azure Stream Analytics、Azure Synapse Analytics 等。您还可以考虑使用 Azure 数据工厂进行数据移动和转换。

您可以查看this page，了解有关 Azure 中所有可用分析产品的更多信息。选择最适合您要求的并尝试使用官方文档示例来实现。