datstage处理文本文件中存在多余换行符的数据

Posted 2022-01-15 mb61cd4c97cd9d5

在使用ds读取文件时可能会遇到字段中包含换行符的情况，在并行作业中并没有内置的方法来处理这中情况。ds读取文件的时候是根据行尾字符来定位一行是否结束，它一次读取一行数据，然后解析这些列。

解决此问题的几个解决方法是：

•使用并行作业中的Extend Source组件，用sed、awk等预处理文件，将文件中多余的换行符处理掉

•使用作业中的预处理功能，调用脚本或其他自定义程序将文件提前清洗一次。