追踪 Python 2 中的隐式 unicode 转换

Posted 2023-02-24

【中文标题】追踪 Python 2 中的隐式 unicode 转换

【英文标题】：Tracking down implicit unicode conversions in Python 2

【发布时间】：2017-02-01 10:28:48

【问题描述】：

我有一个大型项目，在各个地方都有问题的隐式 Unicode 转换（强制转换）以例如以下形式使用：

someDynamicStr = "bar" # could come from various sources

# works
u"foo" + someDynamicStr
u"foo".format(someDynamicStr)

someDynamicStr = "\xff" # uh-oh

# raises UnicodeDecodeError
u"foo" + someDynamicStr
u"foo".format(someDynamicStr)

（可能还有其他形式。）

现在我想追踪这些用法，尤其是那些在积极使用的代码中的用法。

如果我可以轻松地将unicode 构造函数替换为一个包装器，该包装器检查输入是否为str 类型并且encoding/errors 参数设置为默认值然后通知我（打印回溯等）。

/编辑：

虽然与我正在寻找的内容没有直接关系，但我遇到了这个非常可怕的黑客如何使解码异常完全消失（仅解码一个，即 str 到 unicode，但不是其他方式周围，​​见https://mail.python.org/pipermail/python-list/2012-July/627506.html)。

我不打算使用它，但它对于那些与无效 Unicode 输入作斗争并寻求快速修复的问题可能会很有趣（但请考虑副作用）：

import codecs
codecs.register_error("strict", codecs.ignore_errors)
codecs.register_error("strict", lambda x: (u"", x.end)) # alternatively

（对codecs.register_error("strict" 的互联网搜索显示，它显然已用于一些实际项目。）

/编辑#2：

对于显式转换，我在 a SO post on monkeypatching 的帮助下做了一个 sn-p：

class PatchedUnicode(unicode):
  def __init__(self, obj=None, encoding=None, *args, **kwargs):
    if encoding in (None, "ascii", "646", "us-ascii"):
        print("Problematic unicode() usage detected!")
    super(PatchedUnicode, self).__init__(obj, encoding, *args, **kwargs)

import __builtin__
__builtin__.unicode = PatchedUnicode

这只会影响直接使用 unicode() 构造函数的显式转换，因此我不需要它。

/编辑#3：

线程“Extension method for python built-in types!”让我觉得这实际上可能并不容易（至少在 CPython 中）。

/编辑#4：

很高兴在这里看到很多好的答案，可惜我只能提供一次赏金。

与此同时，我遇到了一个有点类似的问题，至少在这个人试图实现的意义上：Can I turn off implicit Python unicode conversions to find my mixed-strings bugs? 请注意，尽管在我的情况下抛出异常不是可以的。在这里，我正在寻找可能指向有问题代码的不同位置的东西（例如通过打印 smth。），但不是可能退出程序或改变其行为的东西（因为这样我可以优先考虑要修复的内容）。

另一方面，Mypy 项目的工作人员（包括 Guido van Rossum）将来也可能会提出类似的帮助，请参阅https://github.com/python/mypy/issues/1141 和最近https://github.com/python/typing/issues/208 的讨论。

/编辑 #5

我也遇到了以下问题，但还没有时间测试它：https://pypi.python.org/pypi/unicode-nazi

【问题讨论】：

您是否愿意仅仅定位或您的最终目标是什么？

@PadraicCunningham 假设它是 C 代码，我猜想定位，显示我必须在那里更改的内容（例如，如果可能的话，如何从那里再次调用 Python 代码）以及如何将所有内容重新编译回自定义构建会帮助我。但我希望存在一种更简单的方法。我的最终目标只是找到一种方法来检测所有可能导致UnicodeDecodeErrors 的有问题的隐式unicode 转换。

您可能能够使用sys.settrace 和自定义跟踪功能做一些事情。我玩了几分钟，可以看到对decode 的错误调用，但无法找到检查参数类型的方法。 pymotw.com/2/sys/tracing.html

@RecursivelyIronic 听起来很有希望，我尝试和你做同样的事情，但对我来说，甚至不会出现decode 电话。如文档所述，它可能与我的 Python 构建有关。

【参考方案1】：

只需添加：

from __future__ import unicode_literals

在源代码文件的开头 - 它必须是第一次导入，并且必须在所有受影响的源代码文件中，并且在 Python-2.7 中使用 unicode 的麻烦消失了。如果您没有对字符串做任何非常奇怪的事情，那么它应该可以立即解决问题。 从我的控制台查看以下复制和粘贴 - 我尝试使用您问题中的示例：

user@linux2:~$ python
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> someDynamicStr = "bar" # could come from various sources

>>>
>>> # works
... u"foo" + someDynamicStr
u'foobar'
>>> u"foo".format(someDynamicStr)
u'foobar'
>>>
>>> someDynamicStr = "\xff" # uh-oh
>>>
>>> # raises UnicodeDecodeError
... u"foo" + someDynamicStr
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
uUnicodeDecodeError: 'ascii' codec can't decode byte 0xff in position 0: ordinal not in range(128)
">>> u"foo".format(someDynamicStr)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xff in position 0: ordinal not in range(128)
>>>

现在有了__future__魔法：

user@linux2:~$ python
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> from __future__ import unicode_literals
>>> someDynamicStr = "bar" # could come from various sources
>>>
>>> # works
... u"foo" + someDynamicStr
u'foobar'
>>> u"foo".format(someDynamicStr)
u'foobar'
>>>
>>> someDynamicStr = "\xff" # uh-oh
>>>
>>> # raises UnicodeDecodeError
... u"foo" + someDynamicStr
u'foo\xff'
>>> u"foo".format(someDynamicStr)
u'foo\xff'
>>> 

【讨论】：

很有趣，那到底是做什么的呢？根据我收集的信息，它将 Python 2 更改为更像 Python 3，所以好像 u 是默认前缀，因此将所有 strs（在 Python 3 中等效为 bytes）变成 unicode （在 Python 3 中为str），即type("") 的输出从<type 'str'> 变为<type 'unicode'>。要获得strs，您必须使用b"" 前缀。有趣的是，它不会改变构造函数或任何decode()/encode() 函数。

虽然我认为这种魔法对于打算在 Python 2 和 Python 3 上运行的新项目来说可能非常有用，但我担心在这个特定项目中可能会出现副作用。已经有太多的显式解码/编码、写入/读取文件以及转换为 JSON 和 BER 等不同格式。另请参阅python-future.org/unicode_literals.html 的缺点部分和以下Stack Overflow 线程：***.com/q/809796/2261442

我没有在答案中写它，但这实际上为我解决了遗留代码的问题。我不了解 BER，但它从未对我造成 JSON 问题。试试看？

【参考方案2】：

您可以执行以下操作：

首先创建一个自定义编码。我将其称为“lascii”，用于“记录 ASCII”：

import codecs
import traceback

def lascii_encode(input,errors='strict'):
    print("ENCODED:")
    traceback.print_stack()
    return codecs.ascii_encode(input)


def lascii_decode(input,errors='strict'):
    print("DECODED:")
    traceback.print_stack()
    return codecs.ascii_decode(input)

class Codec(codecs.Codec):
    def encode(self, input,errors='strict'):
        return lascii_encode(input,errors)
    def decode(self, input,errors='strict'):
        return lascii_decode(input,errors)

class IncrementalEncoder(codecs.IncrementalEncoder):
    def encode(self, input, final=False):
        print("Incremental ENCODED:")
        traceback.print_stack()
        return codecs.ascii_encode(input)

class IncrementalDecoder(codecs.IncrementalDecoder):
    def decode(self, input, final=False):
        print("Incremental DECODED:")
        traceback.print_stack()
        return codecs.ascii_decode(input)

class StreamWriter(Codec,codecs.StreamWriter):
    pass

class StreamReader(Codec,codecs.StreamReader):
    pass

def getregentry():
    return codecs.CodecInfo(
        name='lascii',
        encode=lascii_encode,
        decode=lascii_decode,
        incrementalencoder=IncrementalEncoder,
        incrementaldecoder=IncrementalDecoder,
        streamwriter=StreamWriter,
        streamreader=StreamReader,
    )

它的作用与 ASCII 编解码器基本相同，只是它每次从 unicode 编码或解码到 lascii 时都会打印一条消息和当前堆栈跟踪。

现在您需要使其可用于编解码器模块，以便可以通过名称“lascii”找到它。为此，您需要创建一个搜索函数，该函数在输入字符串“lascii”时返回 lascii 编解码器。然后将其注册到编解码器模块：

def searchFunc(name):
    if name=="lascii":
        return getregentry()
    else:
        return None

codecs.register(searchFunc)

现在剩下要做的最后一件事是告诉 sys 模块使用 'lascii' 作为默认编码：

import sys
reload(sys) # necessary, because sys.setdefaultencoding is deleted on start of Python
sys.setdefaultencoding('lascii')

警告： 这使用了一些已弃用或不推荐的功能。它可能效率不高或没有错误。请勿在生产中使用，仅用于测试和/或调试。

【参考方案3】：

您可以注册一个自定义编码，它会在使用时打印一条消息：

ourencoding.py中的代码：

import sys
import codecs
import traceback

# Define a function to print out a stack frame and a message:

def printWarning(s):
    sys.stderr.write(s)
    sys.stderr.write("\n")
    l = traceback.extract_stack()
    # cut off the frames pointing to printWarning and our_encode
    l = traceback.format_list(l[:-2])
    sys.stderr.write("".join(l))

# Define our encoding:

originalencoding = sys.getdefaultencoding()

def our_encode(s, errors='strict'):
    printWarning("Default encoding used");
    return (codecs.encode(s, originalencoding, errors), len(s))

def our_decode(s, errors='strict'):
    printWarning("Default encoding used");
    return (codecs.decode(s, originalencoding, errors), len(s))

def our_search(name):
    if name == 'our_encoding':
        return codecs.CodecInfo(
            name='our_encoding',
            encode=our_encode,
            decode=our_decode);
    return None

# register our search and set the default encoding:
codecs.register(our_search)
reload(sys)
sys.setdefaultencoding('our_encoding')

如果您在脚本开始时导入此文件，您会看到隐式转换的警告：

#!python2
# coding: utf-8

import ourencoding

print("test 1")
a = "hello " + u"world"

print("test 2")
a = "hello ☺ " + u"world"

print("test 3")
b = u" ".join(["hello", u"☺"])

print("test 4")
c = unicode("hello ☺")

输出：

test 1
test 2
Default encoding used
 File "test.py", line 10, in <module>
   a = "hello ☺ " + u"world"
test 3
Default encoding used
 File "test.py", line 13, in <module>
   b = u" ".join(["hello", u"☺"])
test 4
Default encoding used
 File "test.py", line 16, in <module>
   c = unicode("hello ☺")

测试 1 显示的并不完美，如果转换后的字符串仅包含 ASCII 字符，有时您不会看到警告。

【讨论】：

当...我没有刷新我的浏览器，所以我在发布我的答案后才看到你的答案。但另一方面，我的适用于您的所有测试用例。

@Dakkaron 这似乎与系统相关，在我的系统（Windows 10）上，测试 1 也不会产生任何日志记录。

我追踪了发生的事情。区别不在于平台，而在于它是在使用 python 运行的脚本中还是在交互式 shell 中运行。 Python 在加载时而不是在运行时连接测试 1 中的字符串和 unicode。因此，在您更改编码之前会发生这种情况。如果您使用该内容定义一个函数，也会发生同样的事情。然后它在定义函数时被连接，而不是在运行时。

【参考方案4】：

我看到您对可能遇到的解决方案进行了很多修改。我只是要解决您的原始帖子，我认为该帖子是：“我想围绕检查输入的 unicode 构造函数创建一个包装器”。

unicode 方法是 Python 标准库的一部分。您将装饰 unicode 方法以向该方法添加检查。

def add_checks(fxn):
    def resulting_fxn(*args, **kargs):
        # this is where whether the input is of type str
        if type(args[0]) is str:
            # do something
        # this is where the encoding/errors parameters are set to the default values
        encoding = 'utf-8'

        # Set default error behavior
        error = 'ignore'

        # Print any information (i.e. traceback)
        # print 'blah'
        # TODO: for traceback, you'll want to use the pdb module
        return fxn(args[0], encoding, error)
    return resulting_fxn

使用它看起来像这样：

unicode = add_checks(unicode)

我们会覆盖现有的函数名称，这样您就不必更改大型项目中的所有调用。您希望在运行时尽早执行此操作，以便后续调用具有新行为。

【讨论】：

我正在寻找一种针对隐式转换的解决方案，一种针对我在原始帖子中已经提出的显式转换的解决方案。

对于你给我的例子，Python 会抛出错误。他们甚至不跑，更不用说是正确的了。对于他们来说，在代码库中是问题的根源。如果您想编辑，本质上是如何解析 u 前缀，这将比编写一个好的 sed 或 regex 将所有隐式转换更改为显式然后使用 min.您已经拥有的 2 个解决方案。所以我鼓励使用显式转换并扩展 unicode 构造函数。

someStr 是动态的，只要其中只有 ASCII 字符，代码就可以运行。 someStr 可能来自文件、用户输入、外部进程的输出……

我怀疑你可以创建一个正则表达式来跟踪除最简单的隐式转换之外的所有转换。