如何解决 UnicodeEncodeError: 'ascii codec can't encode character u'\xc1'

Posted 2023-03-22

【中文标题】如何解决 UnicodeEncodeError: \'ascii codec can\'t encode character u\'\\xc1\'

【英文标题】：How to resolve UnicodeEncodeError: 'ascii codec can't encode character u'\xc1'如何解决 UnicodeEncodeError: 'ascii codec can't encode character u'\xc1'

【发布时间】：2022-01-20 02:20:53

【问题描述】：

我正在对 S3 中存在的 csv 文件进行一些处理

reader = pd.read_csv(io.BytesIO(body), delimiter=',', quotechar='"',
                             encoding='utf8', quoting=csv.QUOTE_ALL, skipinitialspace=True, 
                              usecols=cols)
reader.reset_index()

csv_buffer = BytesIO()

reader.to_csv(csv_buffer, index=False)

所有文件都成功了，除了一个。我得到一个错误 UnicodeEncodeError: 'ascii codec can't encode character u'\xc1'

谁能帮帮我

【问题讨论】：

to_csv需要指定encoding

该文件显然包含字母 Á（A 带锐角），默认“ascii”encoding 不支持该字母；您要么需要指定一个支持它的encoding，例如“utf8”，要么以其他方式处理它（剥离它，替换为“？”，替换为“A”或其他特定于语言的替换，替换使用 "\xc1" 或 "Á" 或其他面向计算机的替换）

【参考方案1】：

简答：你需要为to_csv指定encoding

更长的答案：

看起来该文件包含字母 Á（A 带锐角），默认的“ascii”编码不支持该字母；你要么需要：

指定支持它的编码，例如“utf8”，这是大多数情况下最直接和最好的解决方案；或 以其他方式处理字母（剥离它，替换为“?”，替换为“A”或其他特定语言的替换，替换为“\xc1”或“Á”或其他面向计算机的替换） ，然后使用默认的“ascii”编码进行编码，这适用于读取 CSV 的程序无法处理包含字母 Á（A 带锐角）的编码。