在运行时可能发生的与 Azure 数据服务相关的各种错误/问题是啥？

Posted 2023-03-25

【中文标题】在运行时可能发生的与 Azure 数据服务相关的各种错误/问题是啥？

【英文标题】：What are the various errors/issues associated with Azure Data services, that might occur during runtime?在运行时可能发生的与 Azure 数据服务相关的各种错误/问题是什么？

【发布时间】：2021-12-27 22:25:06

【问题描述】：

我正在尝试使用预测性预防异常检测和解决模型，我想为此列出影响 Azure 数据服务（数据湖、数据工厂等）工作并可能导致的所有错误/参数服务失败，即未来可能发生的问题，例如容器大小达到其最大限制，或任何此类问题。 我已尝试查看 Microsoft 文档和与每个特定服务相关的帖子中列出的大多数问题/错误，但它们都属于被动维护（被动异常检测和解决）。

【参考方案1】：

您的问题没有确切的答案。当您部署和配置任何服务时，可能会出现任何问题和任何错误。

不过，您可能面临的主要常见问题与存储、计算和连接性有关。因此，建议持续监控服务的健康状况。

当您在 Azure Data Lake 中部署任何文件时，可伸缩性并不是大问题，因为 无论您是通过 Data Lake Storage Gen2 还是 Blob 存储接口访问，Azure 存储在设计上都是可伸缩的。它能够存储和提供许多 EB 的数据。在高水平的每秒输入/输出操作 (IOPS) 下，此存储量以千兆位每秒 (Gbps) 为单位提供吞吐量。处理是在服务、帐户和文件级别测量的几乎恒定的每个请求延迟下执行的。因此，当您将 ADLS 与分析服务连接时，例如； Databricks 和 Synapse，只需处理连接和计算基础设施（RAM 和内存）。确保您的计算基础架构足够强大，可以根据您的要求处理足够数量的数据。

在 Azure 数据工厂中，计算基础架构称为集成运行时 (IR)。部署 ADF 时，会为您分配一个默认的 Azure IR，该 IR 负责运行您的管道。如果负载增加，您需要重新配置或创建新的 IR 以获得更好的稳定性。您可以访问Create and configure Azure Integration Runtime 来创建新的 IR。

同样，对于每个 Azure 数据服务，您都需要考虑类似的问题。

最后，如果您部署Azure Service Health 来监控与您的服务相关的性能和其他问题，这是一个好方法。

【讨论】：

因此，基本上，与连通性和处理相关的参数可以用作预测预防异常检测和解决模型中的超参数。

是的，主要处理。