Azure ADF DataFlow 在写入行时失败

Posted 2023-03-31

【中文标题】Azure ADF DataFlow 在写入行时失败

【英文标题】：Azure ADF DataFlow failed while writing rows

【发布时间】：2021-09-10 14:54:26

【问题描述】：

我在 Azure 数据工厂中有将 parquet 文件转换为 csv 的数据流。 当我有 10 个大小为 10 KB 的文件时，它可以工作。 但是，如果我有 3 个大小为 22 KB 的文件，则会出现“写入行时失败”错误。

你知道什么是可能的解决方案吗？

【参考方案1】：

提供的信息不充分。您可以尝试增加核心尺寸，如果对您有帮助，还可以查看下面的博客。

Click Here

【讨论】：

但是，这不是文件大小的问题，而是“标题”列的问题。可能有些行包含禁止字符。

【参考方案2】：

Parquet 文件标准不允许某些特殊字符。使用选择变换或接收变换将这些列重新映射为不同的名称。您也可以使用模式匹配来重命名所有此类列。

【讨论】：

Databricks 可以读取并轻松转换为 csv。