匹配多行文本块的正则表达式

Posted 2023-02-15

【中文标题】匹配多行文本块的正则表达式

【英文标题】：Regular expression matching a multiline block of text

【发布时间】：2010-10-09 21:31:07

【问题描述】：

在匹配跨多行的文本时，我在让 Python 正则表达式工作时遇到了一些麻烦。示例文本是（'\n' 是换行符）

some Varying TEXT\n
\n
DSJFKDAFJKDAFJDSAKFJADSFLKDLAFKDSAF\n
[more of the above, ending with a newline]\n
[yep, there is a variable number of lines here]\n
\n
(repeat the above a few hundred times).

我想捕获两件事：“some_Varying_TEXT”部分，以及一次捕获中位于其下方两行的所有大写文本行（我可以稍后去掉换行符）。 我尝试了几种方法：

re.compile(r"^>(\w+)$$([.$]+)^$", re.MULTILINE) # try to capture both parts
re.compile(r"(^[^>][\w\s]+)$", re.MULTILINE|re.DOTALL) # just textlines

还有很多没有运气的变化。最后一个似乎与文本的行一一匹配，这不是我真正想要的。我可以捕捉第一部分，没问题，但我似乎无法捕捉 4-5 行大写文本。 我希望 match.group(1) 成为 some_Varying_Text 和 group(2) 成为 line1+line2+line3+etc 直到遇到空行。

如果有人好奇，它应该是构成蛋白质的氨基酸序列。

【问题讨论】：

文件中除了第一行和大写文本还有其他内容吗？我不确定您为什么要使用正则表达式而不是在换行符处拆分所有文本并将第一个元素作为“some_Varying_TEXT”。

是的，正则表达式是错误的工具。

您的示例文本没有前导 > 字符。应该吗？

【参考方案1】：

试试这个：

re.compile(r"^(.+)\n((?:\n.+)+)", re.MULTILINE)

我认为您最大的问题是您希望 ^ 和 $ 锚匹配换行符，但事实并非如此。在多行模式下，^ 匹配紧随换行符的位置，$ 匹配紧接换行符之前的位置。

还要注意，换行符可以由换行符 (\n)、回车符 (\r) 或回车符+换行符 (\r\n) 组成。如果您不确定您的目标文本是否仅使用换行符，您应该使用这个更具包容性的正则表达式版本：

re.compile(r"^(.+)(?:\n|\r\n?)((?:(?:\n|\r\n?).+)+)", re.MULTILINE)

顺便说一句，你不想在这里使用 DOTALL 修饰符；您依赖于点匹配所有除了换行符的事实。

【讨论】：

如果您不希望此正则表达式与任何第二行为空的文本文件相匹配，您可能希望将正则表达式中的第二个点替换为 [A-Z]。 ;-)

我的印象是目标文件将符合空行与非空行的明确（和重复）模式，因此没有必要指定 [AZ]，但它可能也不会受伤。

这个解决方案效果很好。顺便说一句，我很抱歉，因为我显然没有充分说明情况（以及这个回复的迟到）。感谢您的帮助！

【参考方案2】：

以下是匹配多行文本块的正则表达式：

import re
result = re.findall('(startText)(.+)((?:\n.+)+)(endText)',input)

【讨论】：

这是最好、最直接的答案，恕我直言。

【参考方案3】：

这将起作用：

>>> import re
>>> rx_sequence=re.compile(r"^(.+?)\n\n((?:[A-Z]+\n)+)",re.MULTILINE)
>>> rx_blanks=re.compile(r"\W+") # to remove blanks and newlines
>>> text="""Some varying text1
...
... AAABBBBBBCCCCCCDDDDDDD
... EEEEEEEFFFFFFFFGGGGGGG
... HHHHHHIIIIIJJJJJJJKKKK
...
... Some varying text 2
...
... LLLLLMMMMMMNNNNNNNOOOO
... PPPPPPPQQQQQQRRRRRRSSS
... TTTTTUUUUUVVVVVVWWWWWW
... """
>>> for match in rx_sequence.finditer(text):
...   title, sequence = match.groups()
...   title = title.strip()
...   sequence = rx_blanks.sub("",sequence)
...   print "Title:",title
...   print "Sequence:",sequence
...   print
...
Title: Some varying text1
Sequence: AAABBBBBBCCCCCCDDDDDDDEEEEEEEFFFFFFFFGGGGGGGHHHHHHIIIIIJJJJJJJKKKK

Title: Some varying text 2
Sequence: LLLLLMMMMMMNNNNNNNOOOOPPPPPPPQQQQQQRRRRRRSSSTTTTTUUUUUVVVVVVWWWWWW

---

关于这个正则表达式的一些解释可能有用：^(.+?)\n\n((?:[A-Z]+\n)+)

第一个字符 (^) 表示“从行首开始”。请注意，它与换行符本身不匹配（$ 也是如此：它的意思是“就在换行符之前”，但它与换行符本身不匹配）。 然后(.+?)\n\n 表示“匹配尽可能少的字符（允许所有字符），直到达到两个换行符”。结果（没有换行符）放在第一组中。 [A-Z]+\n 的意思是“匹配尽可能多的大写字母，直到到达换行符。这定义了我将称之为 textline 的内容。 ((?:textline)+) 表示匹配一个或多个textlines，但不要将每一行放在一个组中。而是将

所有

文本行放在一个组中。 如果要在末尾强制使用双换行符，可以在正则表达式中添加最后一个 \n。 此外，如果您不确定您将获得哪种类型的换行符（\n 或 \r 或 \r\n），则只需通过将每次出现的 \n 替换为 (?:\n|\r\n?) 来修复正则表达式。

【讨论】：

match() 仅在目标文本的开头返回一个匹配项，但 OP 表示每个文件将有数百个匹配项。我想你会想要 finditer() 。

【参考方案4】：

如果每个文件只有一个氨基酸序列，我根本不会使用正则表达式。就像这样：

def read_amino_acid_sequence(path):
    with open(path) as sequence_file:
        title = sequence_file.readline() # read 1st line
        aminoacid_sequence = sequence_file.read() # read the rest

    # some cleanup, if necessary
    title = title.strip() # remove trailing white spaces and newline
    aminoacid_sequence = aminoacid_sequence.replace(" ","").replace("\n","")
    return title, aminoacid_sequence

【讨论】：

如果只有一个，绝对是最简单的方法，如果添加更多逻辑，它也可以使用更多。不过，在这个特定的数据集中大约有 885 种蛋白质，我觉得正则表达式应该能够处理这个问题。

【参考方案5】：

我的偏好。

lineIter= iter(aFile)
for line in lineIter:
    if line.startswith( ">" ):
         someVaryingText= line
         break
assert len( lineIter.next().strip() ) == 0
acids= []
for line in lineIter:
    if len(line.strip()) == 0:
        break
    acids.append( line )

此时，您将 someVaryingText 作为字符串，将酸作为字符串列表。 您可以使用"".join( acids ) 来制作单个字符串。

我发现这比多行正则表达式不那么令人沮丧（而且更灵活）。

【参考方案6】：

找到：

^>([^\n\r]+)[\n\r]([A-Z\n\r]+)

\1 = some_variing_text

\2 = 所有大写字母的行

编辑（证明可行）：

text = """> some_Varying_TEXT

DSJFKDAFJKDAFJDSAKFJADSFLKDLAFKDSAF
GATACAACATAGGATACA
GGGGGAAAAAAAATTTTTTTTT
CCCCAAAA

> some_Varying_TEXT2

DJASDFHKJFHKSDHF
HHASGDFTERYTERE
GAGAGAGAGAG
PPPPPAAAAAAAAAAAAAAAP
"""

import re

regex = re.compile(r'^>([^\n\r]+)[\n\r]([A-Z\n\r]+)', re.MULTILINE)
matches = [m.groups() for m in regex.finditer(text)]

for m in matches:
    print 'Name: %s\nSequence:%s' % (m[0], m[1])

【讨论】：

不幸的是，这个正则表达式也会匹配由空行分隔的大写字母组。不过这可能没什么大不了的。

看起来 coonj 喜欢 FASTA 文件。 ;)