在 Python 中将带 BOM 的 UTF-8 转换为不带 BOM 的 UTF-8

Posted 2023-02-24

【中文标题】在 Python 中将带 BOM 的 UTF-8 转换为不带 BOM 的 UTF-8

【英文标题】：Convert UTF-8 with BOM to UTF-8 with no BOM in Python

【发布时间】：2012-02-12 11:21:47

【问题描述】：

这里有两个问题。我有一组通常是带有 BOM 的 UTF-8 文件。我想将它们（理想情况下）转换为没有 BOM 的 UTF-8。似乎codecs.StreamRecoder(stream, encode, decode, Reader, Writer, errors) 会处理这个问题。但我真的没有看到任何关于使用的好例子。这是处理这个问题的最好方法吗？

source files:
Tue Jan 17$ file brh-m-157.json 
brh-m-157.json: UTF-8 Unicode (with BOM) text

此外，如果我们可以在不明确知道的情况下处理不同的输入编码（见 ASCII 和 UTF-16），那将是理想的。看来这一切都应该是可行的。有没有一种解决方案可以将任何已知的 Python 编码和输出为 UTF-8 而无需 BOM？

edit 1 从下方提出 sol'n（谢谢！）

fp = open('brh-m-157.json','rw')
s = fp.read()
u = s.decode('utf-8-sig')
s = u.encode('utf-8')
print fp.encoding  
fp.write(s)

这给了我以下错误：

IOError: [Errno 9] Bad file descriptor

新闻快讯

我在 cmets 中被告知错误是我使用模式 'rw' 而不是 'r+'/'r+b' 打开文件，所以我最终应该重新编辑我的问题并删除已解决的部分。

【问题讨论】：

您需要打开文件进行阅读和更新，即使用r+ 模式。也添加b，这样它也可以在 Windows 上运行，而无需任何有趣的行尾业务。最后，您需要回到文件的开头并在末尾截断它 - 请参阅我的更新答案。

【参考方案1】：

只需使用"utf-8-sig" codec:

fp = open("file.txt")
s = fp.read()
u = s.decode("utf-8-sig")

这会给你一个没有 BOM 的unicode 字符串。然后你可以使用

s = u.encode("utf-8")

在s 中获取正常的 UTF-8 编码字符串。如果您的文件很大，那么您应该避免将它们全部读入内存。 BOM 只是文件开头的三个字节，因此您可以使用以下代码将它们从文件中删除：

import os, sys, codecs

BUFSIZE = 4096
BOMLEN = len(codecs.BOM_UTF8)

path = sys.argv[1]
with open(path, "r+b") as fp:
    chunk = fp.read(BUFSIZE)
    if chunk.startswith(codecs.BOM_UTF8):
        i = 0
        chunk = chunk[BOMLEN:]
        while chunk:
            fp.seek(i)
            fp.write(chunk)
            i += len(chunk)
            fp.seek(BOMLEN, os.SEEK_CUR)
            chunk = fp.read(BUFSIZE)
        fp.seek(-BOMLEN, os.SEEK_CUR)
        fp.truncate()

它打开文件，读取一个块，然后将其写入文件，比读取它的位置早 3 个字节。该文件被就地重写。更简单的解决方案是将较短的文件写入新文件，如newtover's answer。这会更简单，但会在短时间内使用两倍的磁盘空间。

至于猜测编码，那么你可以从最具体到最不具体的编码循环：

def decode(s):
    for encoding in "utf-8-sig", "utf-16":
        try:
            return s.decode(encoding)
        except UnicodeDecodeError:
            continue
    return s.decode("latin-1") # will always work

UTF-16 编码的文件不会解码为 UTF-8，因此我们先尝试使用 UTF-8。如果失败，那么我们尝试使用 UTF-16。最后，我们使用 Latin-1——这将始终有效，因为所有 256 个字节都是 Latin-1 中的合法值。在这种情况下，您可能希望返回 None，因为它实际上是一个后备，您的代码可能希望更仔细地处理这个问题（如果可以的话）。

【讨论】：

嗯，我用示例代码更新了编辑#1 中的问题，但得到了一个错误的文件描述符。谢谢任何帮助。试图弄清楚这一点。

似乎得到了AttributeError: 'str' object has no attribute 'decode'。所以我最终将代码用作with open(filename,encoding='utf-8-sig') as f_content:，然后是doc = f_content.read()，它对我有用。

【参考方案2】：

在 Python 3 中这很简单：读取文件并使用utf-8 编码重写它：

s = open(bom_file, mode='r', encoding='utf-8-sig').read()
open(bom_file, mode='w', encoding='utf-8').write(s)

【参考方案3】：

import codecs
import shutil
import sys

s = sys.stdin.read(3)
if s != codecs.BOM_UTF8:
    sys.stdout.write(s)

shutil.copyfileobj(sys.stdin, sys.stdout)

【讨论】：

你能解释一下这段代码是如何工作的吗？ $ remove_bom.py output.txt 我对吗？

@guneysus，是的，正是

【参考方案4】：

这是我在没有 BOM 的情况下将任何类型的编码转换为 UTF-8 并用通用格式替换 windows enlines 的实现：

def utf8_converter(file_path, universal_endline=True):
    '''
    Convert any type of file to UTF-8 without BOM
    and using universal endline by default.

    Parameters
    ----------
    file_path : string, file path.
    universal_endline : boolean (True),
                        by default convert endlines to universal format.
    '''

    # Fix file path
    file_path = os.path.realpath(os.path.expanduser(file_path))

    # Read from file
    file_open = open(file_path)
    raw = file_open.read()
    file_open.close()

    # Decode
    raw = raw.decode(chardet.detect(raw)['encoding'])
    # Remove windows end line
    if universal_endline:
        raw = raw.replace('\r\n', '\n')
    # Encode to UTF-8
    raw = raw.encode('utf8')
    # Remove BOM
    if raw.startswith(codecs.BOM_UTF8):
        raw = raw.replace(codecs.BOM_UTF8, '', 1)

    # Write to file
    file_open = open(file_path, 'w')
    file_open.write(raw)
    file_open.close()
    return 0

【参考方案5】：

我发现这个问题是因为在打开带有 UTF8 BOM 标头的文件时遇到configparser.ConfigParser().read(fp) 的问题。

对于那些正在寻找删除标头的解决方案以便 ConfigPhaser 可以打开配置文件而不是报告以下错误的人： File contains no section headers，请打开文件如下：

configparser.ConfigParser().read(config_file_path, encoding="utf-8-sig")

这可以通过删除文件的 BOM 标头为您节省大量精力。

（我知道这听起来无关，但希望这可以帮助像我一样苦苦挣扎的人。）

【讨论】：

正如我第一次使用 try - 除了 --> 这也可以毫无问题地打开 UTF-8“非 BOM”编码文件

【参考方案6】：

您可以使用编解码器。

import codecs
with open("test.txt",'r') as filehandle:
    content = filehandle.read()
if content[:3] == codecs.BOM_UTF8:
    content = content[3:]
print content.decode("utf-8")

【讨论】：

根本不可用的snipplet（文件句柄？还有codecs.BOM_UTF8返回语法错误）