Linux：使用sed命令替换文件内容实操及各种报错问题解决
Posted 鲲志说
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Linux：使用sed命令替换文件内容实操及各种报错问题解决相关的知识，希望对你有一定的参考价值。
工作遇到需要在页面一键操作，后端进行自动化运维部署的事情，这里就用的了sed命令，linux的学问真的要花时间好好学习一番了！
上面图片是AI创作生成！如需咒语可私戳哦！
目录
以下为实际工作简化后描述
需求背景
简要说明下流程
原来的流程： 每次新增连接服务，都要进行命令行操作-修改配置文件A，执行启动脚本 。
全部需要公司运维人员帮忙操作，且每次新增都需要人工重复操作
现在的流程：
1.提前一次性配置好环境变量文件B中的必要参数
2.后续就交给程序来操作
3.根据页面输入的信息替换shell模版C内容；
4.读取环境变量B参数替换shell模版C内容；
5.shell模版文件C替换完参数开始执行替换文件A的命令
可以发现这里需要大量替换shell文件内容的操作，如果是设置好的模板内容，其实容易替换操作（详见：《java：自定义变量加载到系统变量后替换shell模版并执行shell》），但是对于特定内容的替换，还是sed命令会容易些。
sed命令介绍
sed 是一种几乎可以应用在所有 UNIX 平台（包括 Linux）上的轻量级流编辑器。sed 有许多很好的特性。首先，它相当小巧，通常要比你所喜爱的脚本语言小多倍。其次，因为 sed 是一种流编辑器，所以，它可以对如管道这样的标准输入中接收的数据进行编辑。因此，无须将要编辑的数据存储在磁盘上的文件中。因为可以轻易将数据管道输出到 sed，所以，将 sed 用作强大的 Shell 脚本中长而复杂的管道很容易。
sed 主要是用来将数据进行选取、替换、删除、新増的命令。如下是命令的语法：
sed [选项] '[动作]' 文件名
常用选项：
- n：使用安静(silent)模式。在一般sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed特殊处理的那一行(或者动作)才会被列出来；
- e: 直接在指令列模式上进行 sed 的动作编辑；
- f ：-f filename 则可以执行 filename 内的sed动作。和 awk 命令的 -f 选项非常类似；
- r：在 sed 中支持扩展正则表达式；
- i：直接修改读取的文件内容，而不是由屏幕输出；
常用命令：
- a \\：新增，在当前行后添加一行或多行。当添加多行时，除最后一行外，每行末尾需要用“\\”代表数据未完结；
- c \\：行替换，用c后面的字符串替换原数据行。当替换多行时，除最后一行外，每行末尾需用“\\”代表数据未完结；
- i \\：插入，在当前行前插入一行或多行。当插入多行时，除最后一行外，每行末尾需要用“\\”代表数据未完结；
- d：删除，删除指定的行；
- p：打印，输出指定的行，通常 p 会与参数 sed -n 一起运作；
- s：字符串替换，用一个字符串替换另一个字符串。格式为“行范围s/旧字串/新字串/g”（和Vim中的替换格式类似）；
⚠️：这里需要注意，sed 所做的修改并不会直接改变文件的内容（如果是用管道符接收的命令的输出，则连文件都没有），而是把修改结果只显示到屏幕上，除非使用"-i"选项才会直接修改文件。
sed命令实操
接下来的操作都以测试数据-sedTest.sh为例：
原始数据如下
查
p：打印，输出指定的行；
查-某行的数据
如只看第2行的数据
命令：
sed -n '2p' sedTest.sh
结果：
查-连续某几行的数据
如看从第2行到第4行的数据
命令：
sed -n '2,4p' sedTest.sh
结果：
查-某行开始到最后一行的数据
如看从第2行到最后一行的数据
命令：
sed -n '2,$p' sedTest.sh
结果：
查-包括关键字的所有行数据
如查询包含关键字-abc的所有行数据
命令：
sed -n '/abc/p' sedTest.sh
结果：
查-包括特殊关键字如$所在所有行
查询包括关键字$所在所有行，使用反斜线\\屏蔽特殊含义
命令：
sed -n '/\\$/p' sedTest.sh
结果：
上面的实操命令可以看出：
- 所有的动作必须使用"单引号"包含；
- 在动作中可以使用数字代表行号，逗号代表连续的行范围；
- 还可以使用" $ " 代表最后一行，如果动作是"2,$p"，则代表查看从第二行到最后一行。
删（不改变原文件）
d：删除，删除指定的行；
删-某行数据
如删除第3行的数据
命令：
sed '3d' sedTest.sh
结果：
但其实要知道，删除只是删除的展示结果，实际上原文件并没有任何改动，如下：
增（不改变原文件）
a ：新增，在当前行后添加一行或多行；
增-某行后增加数据
如在第1行后增加数据：YYDS
命令：
sed '1a YYDS' sedTest.sh
结果：
当然，刚开始执行语句的时候出现了问题，报错：sed: 1: "1a YYDS": command a expects \\ followed by text，解决方法在下面
行替换（不改变原文件）
c ：行替换，用c后面的字符串替换原数据行；
替换-某行数据
如替换第2行数据YYDS为：dddd
命令：
sed '2c dddd' sedTest.sh
结果：
字符串替换（不改变原文件）
s：字符串替换，用一个字符串替换另一个字符串
//（要替换的字符串可以用正则表达式）
sed 's/要替换的字符串/新的字符串/g'
字符串替换-某行的部分字符串
如替换123为：666
命令：
sed 's/123/666/g' sedTest.sh
结果：
字符串替换（改变原文件）
s：字符串替换，用一个字符串替换另一个字符串，使用 “-i” 选项才会直接修改文件。
//（要替换的字符串可以用正则表达式）
sed -i 's/要替换的字符串/新的字符串/g'
字符串替换-字符串
如替换123为：666
命令：
sed -i 's/123/666/g' sedTest.sh
结果：
字符串替换-匹配字符串全部替换
如替换6为：5
命令：
sed -i 's/6/5/g' sedTest.sh
结果：
字符串替换-每行第一个匹配的字符串替换
如每行第一次出现的5替换为：6
命令：
sed -i 's/5/6/' sedTest.sh
结果：
字符串替换-只替换第一个匹配的字符串
0,/待替换内容/s/待替换内容/替换内容/
如第一个匹配的5替换为：6
命令：
sed -i '0,/5/s/5/6/' sedTest.sh
结果：
字符串替换-只替换第一行所有匹配的字符串
0,/待替换内容/s/待替换内容/替换内容/g
如存在5的第一行所有的5替换为：6
命令：
sed -i '0,/5/s/5/6/g' sedTest.sh
结果：
字符串替换-每次替换两行且只替换第一个匹配的字符串
1,/待替换内容/s/待替换内容/替换内容/
如替换两行且只替换第一个匹配的ab为：yzh
命令：
sed -i '1,/ab/s/ab/yzh/' sedTest.sh
结果：
文件修改
如修改文件内容的yzh为：ddd
直接修改原文件
命令：
sed -i 's/yzh/ddd/g' sedTest.sh
结果：
可以看到修改了原文件内容，且没有其他文件产生
修改文件内容，备份并重命名原文件（原文件名为修改后的文件内容）
命令：
sed -in-place -e 's/yzh/ddd/g' sedTest.sh
结果：
可以看到修改了文件内容，但是多出来一个文件sedTest.shn-place，并且该文件内容是修改之前的内容，所以是对修改前的文件备份
问题
1. 报错-mac上遇到的错误sed command a expects followed by text
在执行增加语句时
原因
由于mac系统与linux系统下sed用法的差异，（差异可自己在两个系统用man命令查看帮助）
解决方法
1. mac上安装gnu-sed
brew install gnu-sed
2. 调整mac下sed的用法，使其与linux一致
alias sed=gsed
3.问题解决，再次执行会报错的语句就没问题了
2. 报错-sed throws ‘bad flag in substitute command’
由于我这个问题无法复现了，也忘了当时具体的情况了，这里就直接放我当时解决参考的链接了
解决方法
sed 在替代命令中抛出“错误标志”----sed throws ‘bad flag in substitute command’
3. Sed命令中含有转义字符的问题
在sed命令中有许多的字符都被转义，比如\\ , $,^，单双引号还有点号等等，因此使用sed命令进行字符串的匹配和修改的时候，字符串中如果含有转义字符，很多情况下不能直接用字符本身表示。这时候可以使用反斜杠加上转义字符的方法来输出含转义字符的字符串，但这一方法并不是对所有的转义字符都有用，过程也较复杂。
如果你也遇到了类似的问题，那么可以参考这个链接：Sed命令中含有转义字符的解决方法
由于做这个功能距今有几个月的时间了，当时具体遇到的问题，无法完全回想和复现了，就把当时参考的链接放给大家参考吧，当然如果有解决不了的问题，可以私信，我还是应该可以帮忙解决一下的！
linux下sed命令对文件执行文本替换
让我们看一下 sed 最有用的命令之一，替换命令。使用该命令，可以将特定字符串或匹配的规则表达式用另一个字符串替换。下面是该命令最基本用法的示例：
$ sed -e ‘s/foo/bar/’ myfile.txt
上 面的命令将 myfile.txt 中每行第一次出现的 ‘foo’（如果有的话）用字符串 ‘bar’ 替换，然后将该文件内容输出到标准输出。请注意，我说的是每行第一次出现，尽管这通常不是您想要的。在进行字符串替换时，通常想执行全局替换。也就是说， 要替换每行中的所有出现，如下所示：
$ sed -e ‘s/foo/bar/g’ myfile.txt
在最后一个斜杠之后附加的 ‘g’ 选项告诉 sed 执行全局替换。
关于 ‘s///’ 替换命令，还有其它几件要了解的事。首先，它是一个命令，并且只是一个命令，在所有上例中都没有指定地址。这意味着，’s///’ 还可以与地址一起使用来控制要将命令应用到哪些行，如下所示：
$ sed -e ‘1,10s/enchantment/entrapment/g’ myfile2.txt
上例将导致用短语 ‘entrapment’ 替换所有出现的短语 ‘enchantment’，但是只在第一到第十行（包括这两行）上这样做。
$ sed -e ‘/^$/,/^END/s/hills/mountains/g’ myfile3.txt
该例将用 ‘mountains’ 替换 ‘hills’，但是，只从空行开始，到以三个字符 ‘END’ 开始的行结束（包括这两行）的文本块上这样做。
关于 ‘s///’ 命令的另一个妙处是 ‘/’ 分隔符有许多替换选项。如果正在执行字符串替换，并且规则表达式或替换字符串中有许多斜杠，则可以通过在 ‘s’ 之后指定一个不同的字符来更改分隔符。例如，下例将把所有出现的 /usr/local 替换成 /usr：
$ sed -e ‘s:/usr/local:/usr:g’ mylist.txt
在该例中，使用冒号作为分隔符。如果不指定分隔符，则变成了如下：
$ sed -e ‘s/usr/local/usrg’ mylist.txt
这样就不能执行了
如果需要在规则表达式中指定分隔符字符，可以在它前面加入反斜杠。
规则表达式混乱
目前为止，我们只执行了简单的字符串替换。虽然这很方便，但是我们还可以匹配规则表达式。例如，以下 sed 命令将匹配从 ‘<‘ 开始、到 ‘>’ 结束、并且在其中包含任意数量字符的短语。下例将删除该短语（用空字符串替换）：
$ sed -e ‘s/<.*>//g’ myfile.html
这 是要从文件除去 HTML 标记的第一个很好的 sed 脚本尝试，但是由于规则表达式的特有规则，它不会很好地工作。原因何在？当 sed 试图在行中匹配规则表达式时，它要在行中查找最长的匹配。在我的前一篇 sed 文章中，这不成问题，因为我们使用的是 ‘d’ 和 ‘p’ 命令，这些命令总要删除或打印整行。但是，在使用 ‘s///’ 命令时，确实有很大不同，因为规则表达式匹配的整个部分将被目标字符串替换，或者，在本例中，被删除。这意味着，上例将把下行：
This is what I meant.
变成：
meant.
我们要的不是这个，而是：
This is what I meant.
幸运的是，有一种简便方法来纠正该问题。我们不输入“‘<‘ 字符后面跟有一些字符并以 ‘>’ 字符结束”的规则表达式，
而只需输入一个“‘<‘ 字符，后面跟有任意数量非 ‘>’ 字符，并以 ‘>’ 字符结束”的规则表达式。这将与最短、而不是最长的可能性匹配。新命令如下：
$ sed -e ‘s/<[^>]*>//g’ myfile.html
在上例中，‘[^>]’ 指定“非 ‘>’”字符，其后的 ‘*’ 完成该表达式以表示“零或多个非 ‘>’ 字符”。对几个 html 文件测试该命令，将它们管道输出 “more”，然后仔细查看其结果。
更多字符匹配
‘[ ]’ 规则表达式语法还有一些附加选项。要指定字符范围，只要字符不在第一个或最后一个位置，就可以使用 ‘-‘，如下所示：
‘[a-x]*’
这将匹配零或多个全部为 ‘a’、’b’、’c’…’v’、’w’、’x’ 的字符。
尽可能使用字符类是很有利的，因为它们可以更好地适应非英语 locale（包括某些必需的重音字符等等）.
高级替换功能
我们已经看到如何执行简单甚至有些复杂的直接替换，但是 sed 还可以做更多的事。实际上可以引用匹配规则表达式的部分或全部，并使用这些部分来构造替换字符串。作为示例，假设您正在回复一条消息。下例将在每一行前面加上短语 “ralph said: “：
$ sed -e ‘s/.*/ralph said: &/’ origmsg.txt
输出如下：
ralph said: Hiya Jim, ralph said: ralph said:
I sure like this sed stuff! ralph said:
该例的替换字符串中使用了 ‘&’ 字符，该字符告诉 sed 插入整个匹配的规则表达式。因此，可以将与 ‘.*’ 匹配的任何内容（行中的零或多个字符的最大组或整行）插入到替换字符串中的任何位置，甚至多次插入。这非常好，但 sed 甚至更强大。
那些极好的带反斜杠的圆括号
‘s///’ 命令甚至比 ‘&’ 更好，它允许我们在规则表达式中定义区域，然后可以在替换字符串中引用这些特定区域。作为示例，假设有一个包含以下文本的文件：
foo bar oni eeny meeny miny larry curly moe jimmy the weasel
现在假设要编写一个 sed 脚本，该脚本将把 “eeny meeny miny” 替换成 “Victor eeny-meeny Von miny” 等等。要这样做，首先要编写一个由空格分隔并与三个字符串匹配的规则表达式。
‘.* .* .*’
现在，将在其中每个感兴趣的区域两边插入带反斜杠的圆括号来定义区域：
‘\(.*\) \(.*\) \(.*\)’
除了要定义三个可在替换字符串中引用的逻辑区域以外，该规则表达式的工作原理将与第一个规则表达式相同。下面是最终脚本：
$ sed -e ‘s/\(.*\) \(.*\) \(.*\)/Victor \1-\2 Von \3/’ myfile.txt
如您所见，通过输入 ‘\x’（其中，x 是从 1 开始的区域号）来引用每个由圆括号定界的区域。输入如下：
Victor foo-bar Von oni Victor eeny-meeny Von miny Victor larry-curly Von moe Victor jimmy-the Von weasel
随着对 sed 越来越熟悉，您可以花最小力气来进行相当强大的文本处理。您可能想如何使用熟悉的脚本语言来处理这种问题 — 能用一行代码轻易实现这样的解决方案吗？
组合使用
在开始创建更复杂的 sed 脚本时，需要有输入多个命令的能力。有几种方法这样做。首先，可以在命令之间使用分号。例如，以下命令系列使用 ‘=’ 命令和 ‘p’ 命令，’=’ 命令告诉 sed 打印行号，’p’ 命令明确告诉 sed 打印该行（因为处于 ‘-n’ 模式）。
$ sed -n -e ‘=;p’ myfile.txt
无 论什么时候指定了两个或更多命令，都按顺序将每个命令应用到文件的每一行。在上例中，首先将 ‘=’ 命令应用到第 1 行，然后应用 ‘p’ 命令。接着，sed 继续处理第 2 行，并重复该过程。虽然分号很方便，但是在某些场合下，它不能正常工作。另一种替换方法是使用两个 -e 选项来指定两个不同的命令：
$ sed -n -e ‘=’ -e ‘p’ myfile.txt
然而，在使用更为复杂的附加和插入命令时，甚至多个 ‘-e’ 选项也不能帮我们的忙。对于复杂的多行脚本，最好的方法是将命令放入一个单独的文件中。然后，用 -f 选项引用该脚本文件：
$ sed -n -f mycommands.sed myfile.txt
这种方法虽然可能不太方便，但总是管用。
一个地址的多个命令
有时，可能要指定应用到一个地址的多个命令。这在执行许多 ‘s///’ 以变换源文件中的字和语法时特别方便。要对一个地址执行多个命令，可在文件中输入 sed 命令，然后使用 ‘{ }’ 字符将这些命令分组，如下所示：
1,20{ s/[Ll]inux/GNU\/Linux/g s/samba/Samba/g s/posix/POSIX/g }
上例将把三个替换命令应用到第 1 行到第 20 行（包括这两行）。还可以使用规则表达式地址或者二者的组合：
1,/^END/{ s/[Ll]inux/GNU\/Linux/g s/samba/Samba/g s/posix/POSIX/g p }
该例将把 ‘{ }’ 之间的所有命令应用到从第 1 行开始，到以字母 “END” 开始的行结束（如果在源文件中没发现 “END”，则到文件结束）的所有行。
附加、插入和更改行
既然在单独的文件中编写 sed 脚本，我们可以利用附加、插入和更改行命令。这些命令将在当前行之后插入一行，在当前行之前插入一行，或者替换模式空间中的当前行。它们也可以用来将多行插入到输出。插入行命令用法如下：
i\ This line will be inserted before each line
如果不为该命令指定地址，那么它将应用到每一行，并产生如下的输出：
This line will be inserted before each line line 2 here
This line will be inserted before each line line 3 here
This line will be inserted before each line line 4 here
This line will be inserted before each line line 1 here
如果要在当前行之前插入多行，可以通过在前一行之后附加一个反斜杠来添加附加行，如下所示：
i\ insert this line\ and this one\ and this one\ and, uh, this one too.
附加命令的用法与之类似，但是它将把一行或多行插入到模式空间中的当前行之后。其用法如下：
a\ insert this line after each line. Thanks! :)
另一方面，“更改行”命令将实际替换模式空间中的当前行，其用法如下：
c\ You’re history, original line! Muhahaha!
因为附加、插入和更改行命令需要在多行输入，所以将把它们输入到一个文本 sed 脚本中，然后通过使用 ‘-f’ 选项告诉 sed 执行它们。使用其它方法将命令传递给 sed 会出现问题。
发表于： 2008-05-20 ，修改于： 2008-05-20 09:11，已浏览5707次
from http://blogold.chinaunix.net/u2/68904/showart_695390.html
以上是关于Linux：使用sed命令替换文件内容实操及各种报错问题解决的主要内容，如果未能解决你的问题，请参考以下文章