集成运行时内存不足 ADF

Posted 2023-02-19

【中文标题】集成运行时内存不足 ADF

【英文标题】：Integration Runtime out of memory ADF

【发布时间】：2022-01-18 09:48:36

【问题描述】：

我正在使用数据流活动将 MongoDB 数据转换为 SQL。 截至目前，不支持将 MongoDB/Atlas 作为数据流中的源。我正在将 MongoDB 数据转换为 AzureBlob 存储中的 JSON 文件，然后将该 json 文件用作数据流中的源。

对于大小约为/超过 4Gb 的 json 源文件，每当我尝试导入投影时，Azure 集成运行时都会引发以下错误。 我已将核心大小更改为 16+16，并将集群类型更改为内存优化。

还有其他方法可以导入投影吗？

【参考方案1】：

由于您的源数据是一个大文件，其中包含许多行可能具有复杂的架构，您可以创建一个临时文件，其中包含几行包含您要读取的所有列，然后执行以下操作：

1.从数据流源Debug Settings->导入投影 使用示例文件来获取完整的架构。

现在，选择导入投影。

2.接下来，回滚调试设置以使用源数据集进行剩余的数据移动/转换。

如果你也想映射数据类型，你可以关注这个官方的MSrecommendation文档，因为JSON源不能直接支持映射数据类型。

【讨论】：

我在尝试类似的东西，但是一些 json 文档没有我们模型中的所有必需字段。因此它是一种试错法来查看示例文件的记录是否涵盖所有字段。