python 读取带BOM的utf-8格式文件

Posted 2020-12-15 jvincent

**

UTF有哪些分类？
**

UTF-8分为两种，一种是不带BOM的，一种是带BOM的。其中第一种不带BOM的是标准形式，第二种带BOM的主要是微软的习惯。

**

为什么有BOM的UTF-8？
**
微软在UTF-8中使用BOM（Byte order mark）是因为这样可以将UTF-8和ASCII等编码明确区分开。
windows对于utf-8格式的文件存储默认是带有BOM的格式

**

为什么BOM不受欢迎？
**
因为在UNIX环境下，很多的UNIX程序不认识BOM。主要是在UNIX所有脚本语言首行为#！标示，它依赖于shell解析，而很多shell出于兼容的考虑不检测BOM，所以加进BOM时shell会把它解释为某个普通字符输入导致破坏#！标示。比如很多现代脚本语言，例如python，其解释器本身是能处理BOM的，但是shell卡在这里。
因此我们在linux服务器上读取这些txt文件时，会遇到如下报错：
xefxbbxbf…

**

怎么解决？
**
使用codecs库，将文件转换为utf-8-sig格式

import codecs

with open("xx.txt",‘r‘,‘utf-8-sig‘) as file:
line = file.readlines();
————————————————
版权声明：本文为CSDN博主「樱夕夕」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_21460525/java/article/details/66971225