从列表中的对象中删除字节顺序标记

Posted 2023-02-23

【中文标题】从列表中的对象中删除字节顺序标记

【英文标题】：Remove byte order mark from objects in a list

【发布时间】：2015-08-18 04:57:03

【问题描述】：

我正在使用 Python（3.4，在 Windows 7 上）下载一组文本文件，当我读取（和写入，修改后）这些文件时，这些文件的值中似乎有一些字节顺序标记 (BOM)被保留，主要是 UTF-8 BOM。最终，我将每个文本文件用作列表（或字符串），我似乎无法删除这些 BOM。所以我问是否可以删除BOM？

关于更多上下文，文本文件是从公共 ftp 源下载的，用户在该源上传自己的文档，因此原始编码是高度可变的，我不知道。为了让下载运行没有错误，我将编码指定为 UTF-8（使用 latin-1 会出错）。因此，我拥有 BOM 对我来说并不神秘，而且我认为前期编码/解码解决方案可能不会为我提供答案 (Convert UTF-8 with BOM to UTF-8 with no BOM in Python) - 它实际上似乎使其他 BOM 的频率增加。

当我下载后修改文件时，我使用以下语法：

with open(t, "w", encoding='utf-8') as outfile:
    with open(f, "r", encoding='utf-8') as infile:
        text = infile.read
        #Arguments to make modifications follow

稍后，在“outfiles”作为列表读入后，我看到一些单词具有 UTF-8 BOM，例如\ufeff。我尝试使用以下列表理解删除 BOM：

g = list_outfile    #Outfiles now stored as list
g = [i.replace(r'\ufeff','') for i in g]

虽然这个参数会运行，但不幸的是，当我打印列表时，BOM 仍然存在（我相信即使我尝试从字符串而不是列表中删除 BOM：How to remove this special character?，我也会遇到类似的问题）。如果我在列表理解中放入一个普通单词（非 BOM），该单词将被替换。

我明白，如果我按对象打印列表对象，BOM 将不会出现 (Special national characters won't .split() in Python)。并且 BOM 不在原始文本文件中。但我担心这些 BOM 在运行稍后的文本分析参数时会保留，因此列表中显示为\ufeffword 而不是word 的任何对象都将被分析为\ufeffword。

再次，是否可以在事后删除 BOM？

【问题讨论】：

"因此原始编码是高度可变的，我不知道。" - 那么你可能应该以二进制模式而不是文本模式打开。你不知道编码，所以不要撒谎说你知道。

@Kevin：公平点。我确实尝试了二进制模式，但后来在写入文件时遇到了问题。我想我可以使用 outfile.write(bytes(text, "UTF-8")) 解决这个问题，尽管我不太确定我是否会重新引入编码（解码？）问题（以及其他要探索的格式问题）。

如果你以二进制模式打开这两个文件，你将读取字节对象（str 在 2.x 中，它在 2.7 中获得别名 bytes，并在 3.x 中完全重命名）并写入字节对象。不需要转换。

【参考方案1】：

问题在于您正在替换 特定 字节，而字节顺序标记的表示可能会有所不同，具体取决于文件的编码。 实际上，使用编解码器库检查是否存在 BOM 非常简单。编解码器具有不同 UTF 编码的特定字节顺序标记。此外，您可以从打开的文件中自动获取编码，无需指定。 假设您正在读取一个带有 utf-8 编码的 csv 文件，该文件可能使用也可能不使用字节顺序标记。然后你可以这样：

import codecs

with open("testfile.csv", "r") as csvfile:
    line = csvfile.readline()
    if line.__contains__(codecs.BOM_UTF8.decode(csvfile.encoding)):
        # A Byte Order Mark is present
        line = line.strip(codecs.BOM_UTF8.decode(csvfile.encoding))
    print(line)

在上面代码产生的输出中，您将看到没有字节顺序标记的输出。为了进一步改进这一点，您还可以将此检查限制为仅在文件的第一行进行（因为这是字节顺序标记始终所在的位置，它是文件的前几个字节）。 使用 strip 而不是 replace 不会替换任何东西，如果指定的字节顺序标记不存在，则实际上不会做任何事情。因此，您甚至可以完全跳过对字节顺序标记的手动检查，只需对文件的全部内容运行 strip 方法：

import codecs

with open("testfile.csv", "r") as csvfile:
    with open("outfile.csv", "w") as outfile:
        outfile.write(csvfile.read().strip(codecs.BOM_UTF8.decode(csvfile.encoding)))

瞧，您最终会得到包含原始 (testfile.csv) 的确切内容但没有字节顺序标记的“outfile.csv”。