Azure 中管道步骤中输入/输出参数的大小

Posted 2023-02-18

【中文标题】Azure 中管道步骤中输入/输出参数的大小

【英文标题】：Size of the input / output parameters in the pipeline step in Azure

【发布时间】：2021-11-20 02:54:31

【问题描述】：

在运行管道创建 python 脚本时遇到以下错误。 “AzureMLCompute 作业失败。JobConfigurationMaxSizeExceeded：指定的作业配置超过了最大允许大小 32768 个字符。请减小作业的命令行参数和环境设置的大小”

【问题讨论】：

您能否分享您正在尝试的代码。

【参考方案1】：

我以前没见过这个错误！我的猜测是，当您应该使用 PipelineData 或 OutputFileDatasetConfig 时，您将数据作为字符串参数传递给下游管道步骤。

我强烈建议您阅读有关moving data between steps of an AML pipeline的更多信息

【讨论】：

我在通过设计器提交的管道运行中遇到此问题，该管道已成功运行数十次，直到今天。我什至尝试重新提交之前成功运行此管道（即与成功完全相同的数据输入和管道），但仍然因此错误而失败。我这边没有任何改变。有什么想法吗？

【参考方案2】：

当我们尝试将相当长的内容作为参数值传递给管道时。您可以尝试将文件上传到 blob，可选择创建数据集，然后将数据集名称或文件路径作为参数传递给 AML 管道。管道步骤将从 blob 中读取文件的内容。