Linux自定义分隔符IFS引发的文本处理问题

Posted 2021-02-03 昀溪

shell自定义分隔符IFS的使用

需求是检查指定应用的某些配置所以就写了个脚本，数据文件的内容是这样的：应用名称|IP|端口    多个IP用空格，这样可以生成数组。这个文件的数据是通过部署平台的API获取后自己组装的。

#!/bin/bash

CONFIG_PATH="temp.txt"

for line in $(cat $CONFIG_PATH); do
    APPNAME=$(echo $line | awk -F "|" \'{print $1}\')
    IPARRAY=($(echo $line | awk -F "|" \'{print $2}\'))
    PORT=$(echo $line | awk -F "|" \'{print $3}\')

    echo $APPNAME
    for IP in ${IPARRAY[@]}; do
        echo $IP
    done
done

 脚本运行之后结果去不正确，因为在脚本中并没有输出端口

从要处理的文件上看本身没有问题，也没有特殊字符。上面的AWK语句在命令行中都可以正常执行结果也是正确的。改变一下脚本输出看看

#!/bin/bash

CONFIG_PATH="temp.txt"

for line in $(cat $CONFIG_PATH); do
    APPNAME=$(echo $line | awk -F "|" \'{print $1}\')
    IPARRAY=($(echo $line | awk -F "|" \'{print $2}\'))
    PORT=$(echo $line | awk -F "|" \'{print $3}\')

    echo $APPNAME
    echo $IPARRAY
    echo $PORT
    # for IP in ${IPARRAY[@]}; do
    #     echo $IP
    # done
done

但看到这样的结果肯定不对，那么就很容易联想到分隔符问题。下面看这样一个简单的例子可能更加容易明白

这里明明是一行，我想输出的也是一行可是输出了三行，唯一的可能就是shell认为换行了。

bash shell默认将空格、制表符、换行符看做分隔符遇到这些字符shell会认为这个字符后面的是一个新的字符。所以上面就分成了3行输出。但有时候我们希望自定义这种分隔符来处理比如空格之类的东西，这就需要通过改变当前shell执行环境的分隔符定义。

再次执行

针对最初的例子我们也需要这样修改

#!/bin/bash

CONFIG_PATH="temp.txt"

IFS_OLD=$IFS  # 保存当前IFS
IFS=$\'\\n\'     # 定义新的分隔符
for line in $(cat $CONFIG_PATH); do
    APPNAME=$(echo $line | awk -F "|" \'{print $1}\')
    IPARRAY=($(echo $line | awk -F "|" \'{print $2}\'))
    PORT=$(echo $line | awk -F "|" \'{print $3}\')

    echo $APPNAME
    echo $IPARRAY
    echo $PORT
    # for IP in ${IPARRAY[@]}; do
    #     echo $IP
    # done
done
IFS=$IFS_OLD  # 恢复默认的IFS