Python 3 与 Javascript escape 传输确保数据正确方法和中文乱码解决方案

Posted 2020-08-29

前几天用Python的Bottle框架写个小web程序，在进行Ajax交互之时，前端则先用 JSON.stringify 来将类序列化，然后用escape() 函数将其编码，确保传输正确。

再基本上配合上Jquery的$.ajax应该就可以了，可能是经验不足，即使编码之后的数据依然在 Python 中难以处理。

后来慢慢思考出一种方式，在网上也发现了类似的方式，于是将其实现。

 

基本思路如下：

escape(‘你好世界ABC‘);
//返回 "%u4F60%u597D%u4E16%u754CABC"

这串字符串提交到Bottle后，我利用Python 的 urllib 进行解码，结果发现一个问题。。

>>> urllib.parse.unquote(‘%u4F60%u597D%u4E16%u754CABC‘)
‘%u4F60%u597D%u4E16%u754CABC‘
>>> 

这个字符串该是什么样子还是什么样子，于是研究了片刻，然后傻逼的发现，这个压根就已经不是URL编码的字符了，不能用 unquote解了。。

我们应该用 decode(‘UTF-8‘)！

 

%uXXXX 是Javascript转成 Unicode 的样子。所以我们必须要使它变成 \uXXXX 的Unicode的标准形式

而且Python中 unquote 只能对str进行URL解码，所以这个是对Unicode编码的中文字符是无法解开的，那么我就必须使用 decode(‘UTF-8‘);

但是收到的字符又是str，不存在什么decode，只有encode。后来查了下手册找到了个 urllib.parse.unquote_to_bytes 函数，可对Str进行URL解码，并且返回 byte。

对的，要的就是这个，然后依据返回的byte，就可以对其使用 decode 。

于是我就写了一个：

def load_json(value):
    value = value.replace(‘%u‘,‘\\u‘) #将%uxxxx 替换换 \uxxxx 这才可以进行utf-8解码
        byts = urllib.parse.unquote_to_bytes(value) #返回的 byte
    byts = byts.decode(‘UTF-8‘) # decode UTF-8 解码只能解开 \uXXXX 的Unicode 标准形式
    return json.loads(byts)

 并且做以下测试:

escape(‘{"value":[123,"你好世界ABC"]}‘)
//"%7B%22value%22%3A%5B123%2C%22%u4F60%u597D%u4E16%u754CABC%22%5D%7D"

 Python Shell:

>>> load_json(‘%7B%22value%22%3A%5B123%2C%22%u4F60%u597D%u4E16%u754CABC%22%5D%7D‘)
{‘value‘: [123, ‘你好世界ABC‘]}

 恭喜测试成功，看起来已经成功了。

总结：

这样的话，纵使再如何的字符，都会被Unicode编码。Javascript采用 escape（其他也行）来对字符进行UTF-8编码，虽然得到的是%uXXXX，但是你可以传化为 \uXXXX 的标准形式。

而且就算某些特别任性浏览器不会变成 %uXXXX，我们也只是 替换的%u，并不会影响实际的字符。

过程：

Javascript Object -> JSON.stringify(obj) -> escape(json_str) -> 浏览器的自动URL编码(任性除外) -> Python urllib URL decode -> %uXXXX 替换 \uXXXX -> decode(‘UTF-8‘) -> json.load();

 

 

这只是一点经验之谈，如果有任何错误或更好之处，欢迎指正，向其学习，定当谢过。