如何使用 sed/grep 提取两个单词之间的文本？

Posted 2023-03-15

【中文标题】如何使用 sed/grep 提取两个单词之间的文本？

【英文标题】：How to use sed/grep to extract text between two words?

【发布时间】：2012-10-25 21:36:40

【问题描述】：

我正在尝试输出一个字符串，该字符串包含字符串的两个单词之间的所有内容：

输入：

"Here is a String"

输出：

"is a"

使用：

sed -n '/Here/,/String/p'

包含端点，但我不想包含它们。

【问题讨论】：

如果输入是Here is a Here String，结果应该是什么？还是I Hereby Dub Thee Sir Stringy？

仅供参考。您的命令意味着打印包含单词 Here 的行和包含单词 String 的行之间的所有内容 - 不是您想要的。

另一个常见的sed 常见问题解答是“如何在特定行之间提取文本”；这是***.com/questions/16643288/…

【参考方案1】：

GNU grep 还可以支持正负前瞻和回溯： 对于您的情况，命令将是：

echo "Here is a string" | grep -o -P '(?<=Here).*(?=string)'

如果Here 和string 出现多次，您可以选择是要从第一个Here 到最后一个string 进行匹配，还是单独匹配它们。就正则表达式而言，它被称为greedy match (first case) 或non-greedy match (second case)

$ echo 'Here is a string, and Here is another string.' | grep -oP '(?<=Here).*(?=string)' # Greedy match
 is a string, and Here is another 
$ echo 'Here is a string, and Here is another string.' | grep -oP '(?<=Here).*?(?=string)' # Non-greedy match (Notice the '?' after '*' in .*)
 is a 
 is another 

【讨论】：

请注意，GNU grep 的 -P 选项不存在于 *BSD 中包含的 grep 或任何 SVR4（Solaris 等）附带的选项中。在 FreeBSD 中，您可以安装 devel/pcre 端口，其中包括支持 PCRE（和前瞻/后视）的 pcregrep。旧版本的 OSX 使用 GNU grep，但在 OSX Mavericks 中，-P 派生自 FreeBSD 的版本，不包含该选项。

嗨，我如何只提取不同的内容？

这不起作用，因为如果您的结束字符串“string”出现多次，它将获得 last 出现，而​​不是 next发生。

如果是Here is a string a string，根据问题要求，两者 " is a " 和" is a string a " 都是有效答案（忽略引号）。这取决于您您想要哪一个，然后答案可能会有所不同。无论如何，根据您的要求，这将起作用：echo "Here is a string a string" | grep -o -P '(?<=Here).*?(?=string)'

@BND，您需要启用multi-line search feature of pcregrep。 echo $'Here is \na string' | grep -zoP '(?<=Here)(?s).*(?=string)'

【参考方案2】：

sed -e 's/Here\(.*\)String/\1/'

【讨论】：

谢谢！如果我想在“Here is a one is a String”中找到“one is”和“String”之间的所有内容怎么办？ (sed -e 's/one is(.*)String/\1/' ?

@user1190650 如果您也想看到“这里是一个”，那也可以。你可以测试一下：echo "Here is a one is a String" | sed -e 's/one is\(.*\)String/\1/'。如果您只想要“one is”和“String”之间的部分，那么您需要使正则表达式匹配整行：sed -e 's/.*one is\(.*\)String.*/\1/'。在 sed 中，s/pattern/replacement/ 说“在每行上用 'replacement' 替换 'pattern'”。它只会改变任何匹配“pattern”的东西，所以如果你想让它替换整行，你需要让“pattern”匹配整行。

当输入为Here is a String Here is a String时会中断

很高兴看到一个案例的解决方案：“Here is a blah blah String Here is 1 a blah blah String Here is 2 a blash blash String”输出应该只拾取之间的第一个子字符串这里和字符串"

@JayD sed 不支持非贪婪匹配，请参阅this question 了解一些推荐的替代方案。

【参考方案3】：

接受的答案不会删除可能在Here 之前或String 之后的文本。这将：

sed -e 's/.*Here\(.*\)String.*/\1/'

主要区别在于在Here 之前和String 之后添加.*。

【讨论】：

您的回答很有希望。一个问题。如果同一行中有多个字符串，如何将其提取到第一个看到的字符串？谢谢

@MianAsbatAhmad 您可能希望在Here 和String 之间创建非贪婪（或懒惰）的* 量词。但是，根据this *** 问题，sed 使用的正则表达式类型不支持惰性量词（紧跟在.* 之后的?）。通常要实现一个惰性量词，您只需匹配除您不想匹配的标记之外的所有内容，但在这种情况下，不只是一个标记，而是一个完整的字符串，String。

谢谢，我用 awk 得到了答案，***.com/questions/51041463/…

不幸的是，如果字符串有换行符，这不起作用

不应该这样。 . 不匹配换行符。如果要匹配换行符，可以将. 替换为[\s\s]。

【参考方案4】：

您可以单独剥离Bash 中的字符串：

$ foo="Here is a String"
$ foo=$foo##*Here 
$ echo "$foo"
is a String
$ foo=$foo%% String*
$ echo "$foo"
is a
$

如果你有一个包含PCRE 的 GNU grep，你可以使用零宽度断言：

$ echo "Here is a String" | grep -Po '(?<=(Here )).*(?= String)'
is a

【讨论】：

为什么这个方法这么慢？使用此方法剥离大型 html 页面时，大约需要 10 秒。

@AdamJohns，哪种方法？ PCRE一个？ PCRE 解析起来相当复杂，但 10 秒似乎很极端。如果你担心，我推荐你pose a question 包括示例代码，看看专家怎么说。

我认为这对我来说太慢了，因为它在一个变量中保存了一个非常大的 html 文件的源代码。当我将内容写入文件然后解析文件时，速度显着提高。

应该是公认的答案，因为它使用纯 Bash。

【参考方案5】：

通过 GNU awk，

$ echo "Here is a string" | awk -v FS="(Here|string)" 'print $2'
 is a 

带有-P(perl-regexp) 参数的grep 支持\K，这有助于丢弃以前匹配的字符。在我们的例子中，之前匹配的字符串是Here，所以它从最终输出中被丢弃了。

$ echo "Here is a string" | grep -oP 'Here\K.*(?=string)'
 is a 
$ echo "Here is a string" | grep -oP 'Here\K(?:(?!string).)*'
 is a 

如果您希望输出为 is a，那么您可以尝试以下操作，

$ echo "Here is a string" | grep -oP 'Here\s*\K.*(?=\s+string)'
is a
$ echo "Here is a string" | grep -oP 'Here\s*\K(?:(?!\s+string).)*'
is a

【讨论】：

这不适用于：echo "Here is a string dfdsf Here is a string" | awk -v FS="(Here|string)" 'print $2'，它只返回is a 而不是is a is a@Avinash Raj

【参考方案6】：

如果您有一个包含许多多行出现的长文件，首先打印数字行很有用：

cat -n file | sed -n '/Here/,/String/p'

【讨论】：

谢谢！这是在我的情况下唯一有效的解决方案（多行文本文件，而不是没有换行符的单个字符串）。显然，要让它没有行号，cat 中的-n 选项必须省略。

... 在这种情况下，cat 可以完全省略； sed 知道如何读取文件或标准输入。

【参考方案7】：

这可能对你有用（GNU sed）：

sed '/Here/!d;s//&\n/;s/.*\n//;:a;/String/bb;$!n;ba;:b;s//\n&/;P;D' file 

这会在换行符上显示两个标记（在本例中为 Here 和 String）之间的每个文本表示，并在文本中保留换行符。

【参考方案8】：

你可以使用两个 s 命令

$ echo "Here is a String" | sed 's/.*Here//; s/String.*//'
 is a 

同样有效

$ echo "Here is a StringHere is a String" | sed 's/.*Here//; s/String.*//'
 is a

$ echo "Here is a StringHere is a StringHere is a StringHere is a String" | sed 's/.*Here//; s/String.*//'
 is a 

【参考方案9】：

要理解sed命令，我们必须一步一步地构建它。

这是你的原文

user@linux:~$ echo "Here is a String"
Here is a String
user@linux:~$ 

让我们尝试在sed 中使用substition 选项删除Here 字符串

user@linux:~$ echo "Here is a String" | sed 's/Here //'
is a String
user@linux:~$ 

此时，我相信您也可以删除String

user@linux:~$ echo "Here is a String" | sed 's/String//'
Here is a
user@linux:~$ 

但这不是你想要的输出。

要组合两个 sed 命令，请使用 -e 选项

user@linux:~$ echo "Here is a String" | sed -e 's/Here //' -e 's/String//'
is a
user@linux:~$ 

希望对你有帮助

【参考方案10】：

上述所有解决方案都存在缺陷，即最后一个搜索字符串在字符串的其他地方重复。我发现最好写一个 bash 函数。

    function str_str 
      local str
      str="$1#*$2"
      str="$str%%$3*"
      echo -n "$str"
    

    # test it ...
    mystr="this is a string"
    str_str "$mystr" "this " " string"

【参考方案11】：

您可以使用\1（参考http://www.grymoire.com/Unix/Sed.html#uh-4）：

echo "Hello is a String" | sed 's/Hello\(.*\)String/\1/g'

括号内的内容将存储为\1。

【讨论】：

这会删除字符串而不是输出介于两者之间的内容。尝试在 sed 命令中用“is”删除“Hello”，它会输出“Hello a”

【参考方案12】：

问题。我存储的 Claws Mail 邮件包装如下，我正在尝试提取主题行：

Subject: [SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular
 link in major cell growth pathway: Findings point to new potential
 therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is
 Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as
 a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway
 identified [Lysosomal amino acid transporter SLC38A9 signals arginine
 sufficiency to mTORC1]]
Message-ID: <[e-mail]>

对于此线程中的 A2，How to use sed/grep to extract text between two words? 下面的第一个表达式“有效”，只要匹配的文本不包含换行符：

grep -o -P '(?<=Subject: ).*(?=molecular)' corpus/01

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key

但是，尽管尝试了许多变体 (.+?; /s; ...)，我还是无法让这些变体：

grep -o -P '(?<=Subject: ).*(?=link)' corpus/01
grep -o -P '(?<=Subject: ).*(?=therapeutic)' corpus/01
etc.

解决方案 1。

每Extract text between two strings on different lines

sed -n '/Subject: /:a;N;/Message-ID:/!ba; s/\n/ /g; s/\s\s*/ /g; s/.*Subject: \|Message-ID:.*//g;p' corpus/01

给了

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular link in major cell growth pathway: Findings point to new potential therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway identified [Lysosomal amino acid transporter SLC38A9 signals arginine sufficiency to mTORC1]]                              

解决方案 2.*

每How can I replace a newline (\n) using sed?

sed ':a;N;$!ba;s/\n/ /g' corpus/01

将用空格替换换行符。

将其与 How to use sed/grep to extract text between two words? 中的 A2 链接，我们得到：

sed ':a;N;$!ba;s/\n/ /g' corpus/01 | grep -o -P '(?<=Subject: ).*(?=Message-ID:)'

给了

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular  link in major cell growth pathway: Findings point to new potential  therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is  Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as  a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway  identified [Lysosomal amino acid transporter SLC38A9 signals arginine  sufficiency to mTORC1]] 

此变体删除了双空格：

sed ':a;N;$!ba;s/\n/ /g; s/\s\s*/ /g' corpus/01 | grep -o -P '(?<=Subject: ).*(?=Message-ID:)'

给予

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular link in major cell growth pathway: Findings point to new potential therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway identified [Lysosomal amino acid transporter SLC38A9 signals arginine sufficiency to mTORC1]]

【讨论】：

不错的冒险 :))