Python:读取文件时如何忽略#comment行
Posted
技术标签:
【中文标题】Python:读取文件时如何忽略#comment行【英文标题】:Python: How to ignore #comment lines when reading in a file 【发布时间】:2010-12-14 22:33:38 【问题描述】:在 Python 中,我刚刚从文本文件中读取了一行,我想知道如何编写代码以忽略行首带有哈希 # 的 cmets。
我觉得应该是这样的:
for
if line !contain #
then ...process line
else end for loop
但我是 Python 新手,不懂语法
【问题讨论】:
【参考方案1】:删除适用于内联和一行的评论是一件好事
def clear_coments(f):
new_text = ''
for line in f.readlines():
if "#" in line: line = line.split("#")[0]
new_text += line
return new_text
【讨论】:
【参考方案2】:我知道这是一个旧线程,但这是一个生成器函数,我 用于我自己的目的。无论他们在哪里,它都会剥夺 cmets 出现在行中,以及去除前导/尾随空格和 空行。以下原文:
# Comment line 1
# Comment line 2
# host01 # This host commented out.
host02 # This host not commented out.
host03
host04 # Oops! Included leading whitespace in error!
将产生:
host02
host03
host04
这里是文档化的代码,其中包括一个演示:
def strip_comments(item, *, token='#'):
"""Generator. Strips comments and whitespace from input lines.
This generator strips comments, leading/trailing whitespace, and
blank lines from its input.
Arguments:
item (obj): Object to strip comments from.
token (str, optional): Comment delimiter. Defaults to ``#``.
Yields:
str: Next uncommented non-blank line from ``item`` with
comments and leading/trailing whitespace stripped.
"""
for line in item:
s = line.split(token, 1)[0].strip()
if s:
yield s
if __name__ == '__main__':
HOSTS = """# Comment line 1
# Comment line 2
# host01 # This host commented out.
host02 # This host not commented out.
host03
host04 # Oops! Included leading whitespace in error!""".split('\n')
hosts = strip_comments(HOSTS)
print('\n'.join(h for h in hosts))
正常的用例是从文件(即主机文件,如我上面的示例中)中剥离 cmets。如果是这种情况,那么上面代码的尾部将被修改为:
if __name__ == '__main__':
with open('hosts.txt', 'r') as f:
hosts = strip_comments(f)
for host in hosts:
print('\'%s\'' % host)
【讨论】:
【参考方案3】:使用正则表达式 re.compile("^(?:\s+)*#|(?:\s+)")
跳过新行和 cmets。
【讨论】:
【参考方案4】:我来晚了,但是处理shell风格(或python风格)#
cmets的问题是一个很常见的问题。
我几乎每次阅读文本文件时都在使用一些代码。问题是它不能正确处理引用或转义的 cmets。但它适用于简单的情况并且很容易。
for line in whatever:
line = line.split('#',1)[0].strip()
if not line:
continue
# process line
更强大的解决方案是使用shlex:
import shlex
for line in instream:
lex = shlex.shlex(line)
lex.whitespace = '' # if you want to strip newlines, use '\n'
line = ''.join(list(lex))
if not line:
continue
# process decommented line
这种 shlex 方法不仅可以正确处理引号和转义,它还添加了许多很酷的功能(例如,如果您愿意,可以让文件来源其他文件)。我还没有测试过它在大文件上的速度,但它对于小文件来说已经足够快了。
将每个输入行拆分为字段(在空格上)的常见情况甚至更简单:
import shlex
for line in instream:
fields = shlex.split(line, comments=True)
if not fields:
continue
# process list of fields
【讨论】:
这值得更多的支持!即使没有shlex
的解决方案也比公认的答案更全面(这对于简单的用例来说很好,但麻烦的是,如果你告诉用户“你可以把 cmets 放在那里,但前提是他们开始生产线”,你'会第一个忘记这个限制)。【参考方案5】:
我建议您在看到#
字符时不要忽略整行;只需忽略该行的其余部分。您可以使用名为partition
的字符串方法函数轻松做到这一点:
with open("filename") as f:
for line in f:
line = line.partition('#')[0]
line = line.rstrip()
# ... do something with line ...
partition
返回一个元组:分区字符串之前的所有内容、分区字符串以及分区字符串之后的所有内容。因此,通过使用[0]
进行索引,我们只取分区字符串之前的部分。
编辑:
如果您使用的 Python 版本没有 partition()
,您可以使用以下代码:
with open("filename") as f:
for line in f:
line = line.split('#', 1)[0]
line = line.rstrip()
# ... do something with line ...
这会将字符串拆分为“#”字符,然后保留拆分之前的所有内容。 1
参数使.split()
方法在一次拆分后停止;因为我们只是抓取第 0 个子字符串(通过使用 [0]
进行索引),所以如果没有 1
参数,您会得到相同的答案,但这可能会快一点。 (感谢@gnr 的评论,从我的原始代码中得到了简化。我的原始代码无缘无故地变得更加混乱;谢谢@gnr。)
您也可以编写自己的partition()
版本。这里有一个叫part()
:
def part(s, s_part):
i0 = s.find(s_part)
i1 = i0 + len(s_part)
return (s[:i0], s[i0:i1], s[i1:])
@dalle 指出“#”可以出现在字符串中。正确处理这种情况并不容易,所以我就忽略了它,但我应该说点什么。
如果您的输入文件对带引号的字符串有足够简单的规则,这并不难。如果您接受任何合法的 Python 引号字符串,这将是困难的,因为有单引号、双引号、多行引号和反斜杠转义行尾、三引号字符串(使用单引号或双引号),以及甚至是原始字符串!正确处理所有这些的唯一可能方法是复杂的状态机。
但如果我们将自己限制在一个简单的带引号的字符串,我们可以用一个简单的状态机来处理它。我们甚至可以在字符串中使用反斜杠双引号。
c_backslash = '\\'
c_dquote = '"'
c_comment = '#'
def chop_comment(line):
# a little state machine with two state varaibles:
in_quote = False # whether we are in a quoted string right now
backslash_escape = False # true if we just saw a backslash
for i, ch in enumerate(line):
if not in_quote and ch == c_comment:
# not in a quote, saw a '#', it's a comment. Chop it and return!
return line[:i]
elif backslash_escape:
# we must have just seen a backslash; reset that flag and continue
backslash_escape = False
elif in_quote and ch == c_backslash:
# we are in a quote and we see a backslash; escape next char
backslash_escape = True
elif ch == c_dquote:
in_quote = not in_quote
return line
我真的不想在一个标记为“初学者”的问题中搞得这么复杂,但是这个状态机相当简单,我希望它会很有趣。
【讨论】:
是的,但是如果您不考虑正确性,您可能还需要关心引用的#。 OP 需要注意的一点是旧版本中没有分区。 哎呀,没错:partition()
仅在 Python 2.5 和更新版本中。我将编辑我的答案并添加另一个解决方案。
为什么不能在这里使用 split 而不是 partition?
@gnr,没有理由,str.split()
在这里可能是更好的选择。我会使用可选的maxsplit
参数,设置为1,所以它在找到一个#
字符后停止,如下所示:line.split('#', 1)[0]
我真的很喜欢str.partition()
,我倾向于使用它,但是str.split()
可用在较旧的 Python 版本中。 str.partition()
还给你中间的字符串,但我们在这里不需要它,所以没有理由使用它。如果str.partition()
不可用,我将编辑答案以建议使用str.split()
。【参考方案6】:
我最近发现生成器函数在这方面做得很好。我使用过类似的功能来跳过注释行、空白行等。
我将我的函数定义为
def skip_comments(file):
for line in file:
if not line.strip().startswith('#'):
yield line
这样我就可以了
f = open('testfile')
for line in skip_comments(f):
print line
这可以在我的所有代码中重复使用,并且我可以添加任何额外的处理/日志记录/等。我需要的。
【讨论】:
【参考方案7】:我倾向于使用
for line in lines:
if '#' not in line:
#do something
这将忽略整行,尽管包含 rpartition 的答案有我的支持,因为它可以包含 # 之前的任何信息
【讨论】:
【参考方案8】:这是可能的最短形式:
for line in open(filename):
if line.startswith('#'):
continue
# PROCESS LINE HERE
如果您调用它的字符串以您传入的字符串开头,则字符串上的 startswith()
方法返回 True。
虽然这在某些情况下(例如 shell 脚本)是可以的,但它有两个问题。首先,它没有指定如何打开文件。打开文件的默认模式是'r'
,意思是“以二进制模式读取文件”。由于您需要一个文本文件,因此最好使用'rt'
打开它。虽然这种区别在类 UNIX 操作系统上无关紧要,但在 Windows(以及 OS X 之前的 Mac)上很重要。
第二个问题是打开文件句柄。 open()
函数返回一个文件对象,在完成文件后关闭文件被认为是一种很好的做法。为此,请在对象上调用 close()
方法。现在,Python可能会为你做这件事,最终;在 Python 中,对象是引用计数的,当一个对象的引用计数变为零时,它会被释放,并且在某些情况下在一个对象被释放之后,Python 会调用它的析构函数(一个叫做__del__
的特殊方法)。请注意,我说可能: Python 有一个坏习惯,即在程序结束前不久,不会对引用计数降至零的对象调用析构函数。我猜它很着急!
对于像 shell 脚本这样的短期程序,尤其是文件对象,这无关紧要。当程序完成时,您的操作系统将自动清理所有打开的文件句柄。但是,如果您打开文件,读取内容,然后在没有先显式关闭文件句柄的情况下开始长时间计算,Python 很可能在计算期间使文件句柄保持打开状态。这是不好的做法。
此版本适用于任何 2.x 版本的 Python,并修复了我上面讨论的两个问题:
f = open(file, 'rt')
for line in f:
if line.startswith('#'):
continue
# PROCESS LINE HERE
f.close()
这是旧版本 Python 的最佳通用形式。
正如 steveha 所建议的,使用“with”语句现在被认为是最佳实践。如果你使用的是 2.6 或更高版本,你应该这样写:
with open(filename, 'rt') as f:
for line in f:
if line.startswith('#'):
continue
# PROCESS LINE HERE
“with”语句将为您清理文件句柄。
在您的问题中,您说“以 # 开头的行”,这就是我在这里向您展示的内容。如果您想过滤掉以 optional whitespace 和 then '#' 开头的行,您应该在查找 '#' 之前去掉空格。在这种情况下,你应该改变这个:
if line.startswith('#'):
到这里:
if line.lstrip().startswith('#'):
在 Python 中,字符串是不可变的,所以这不会改变 line
的值。 lstrip()
方法返回字符串的副本,其中所有前导空格都已删除。
【讨论】:
“Python 有一个坏习惯,即在程序结束前不久对引用计数降至零的对象不调用析构函数。”你有这个说法的证据吗? “不能保证在解释器退出时为仍然存在的对象调用 del__() 方法。” __del__() 段落的最后一句:docs.python.org/reference/datamodel.html#object.__del 这是 2.6 的文档; 3.1 也是如此。我想我写的并不完全准确。然而,确切的事实与我提出的观点相关。不确定是否值得编辑我的答案以更正。【参考方案9】:过滤表达式的更紧凑版本也可以如下所示:
for line in (l for l in open(filename) if not l.startswith('#')):
# do something with line
(l for ... )
被称为“生成器表达式”,它在这里充当包装迭代器,在迭代文件时过滤掉文件中所有不需要的行。不要将它与方括号[l for ... ]
中的相同内容混淆,这是一种“列表理解”,它首先将文件中的所有行读入内存,然后才会开始对其进行迭代。
有时您可能希望它不那么单行且更具可读性:
lines = open(filename)
lines = (l for l in lines if ... )
# more filters and mappings you might want
for line in lines:
# do something with line
所有过滤器将在一次迭代中即时执行。
【讨论】:
【参考方案10】:你可以使用startswith()
例如
for line in open("file"):
li=line.strip()
if not li.startswith("#"):
print line.rstrip()
【讨论】:
...同时忽略前导空格:if not line.strip().startswith("#")
您的代码有for line in open("file"):
,它留下了一个打开的文件句柄。您应该保留open("file")
的返回值,并在完成后显式调用close()
,或者使用with
语句(参见docs.python.org/library/stdtypes.html#file.close)。
不,不应该。当 EOF 时,for 循环将隐式调用 StopIteration。
这并没有真正留下打开的文件句柄,至少在 CPython 中是这样。当最后一次对文件对象的引用消失时,文件对象将被垃圾回收,此时文件将被关闭。 Jython(在 Java VM 上运行)可能有所不同。如果您使用的是具有with
语句的现代Python,则使用with open("filename") as f:
然后通过f
(或您可能选择的任何其他变量名)引用文件对象被认为是一种非常好的形式。 with
将确保文件已关闭,无论如何,即使遇到异常也是如此。
我刚刚重新阅读了我上面的评论,我认为我的措辞很糟糕。我的示例使用f
作为with
语句中文件句柄的变量名,但您可以使用任何其他合法变量名。无论您在那里使用什么名称,都可以在 with
中使用来引用文件对象。很抱歉写的不清楚。以上是关于Python:读取文件时如何忽略#comment行的主要内容,如果未能解决你的问题,请参考以下文章