记录 curl 提交数据编码 及 javascript 转换 unicode 问题

Posted 2020-12-15 [e-mail]

1、curl 提交数据编码问题

在 windows 下使用 curl 发送一个 POST 请求的时候，遇到一个问题，传送的参数都不是 UTF-8编码的。

• 1、在 git-bash 下测试，locale都是 UTF-8，没有作用，服务端收到的还是 GBK 编码。
• 2、在 cmd 下测试，chcp 65001，没有作用，，服务端收到的还是 GBK 编码。
• 3、写入脚本文件（sh/bat），在上述两种环境下，都还是 GBK 的。

最后只能是使用 echo 输出数据，然后 curl 从 stdin 读取才行。

echo  ‘{"url":"这里有中文和zimu","time":1526129881}‘ | curl ‘http://192.168.17.11:8010/testsvr/post‘       -H ‘User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:76.0) Gecko/20100101 Firefox/76.0‘       -H ‘Accept: application/json, text/plain, */*‘       -H ‘Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2‘       -H ‘Content-Type: application/json;charset=utf-8‘       -H ‘Origin: http://192.168.17.11:8010‘       -H ‘Connection: keep-alive‘       -H ‘Referer: http://192.168.17.11:8010/‘       -H ‘Cookie: id=cdfb03dfd29351d7b3aeb96b24218b86‘       -X POST-d @-

2、javascript 转换 UniCode 问题

网上很多转换代码是这样的：

function encodeUnicode(str) {
    var res = [];
    for ( var i=0; i<str.length; i++ ) {
	res[i] = ( "00" + str.charCodeAt(i).toString(16) ).slice(-4);
    }
    return "\u" + res.join("\u");
}

这有一个问题，就是会把 ascii 字符也编码了，但很多时候，我们只需要编码非 ascii 字符，所以修改为下面

function encodeUnicode(str) {
    var value = ‘‘;
    for (var i = 0; i < str.length; i++) {
        ch = str.charCodeAt(i);
        if (ch > 127) {
            value += ‘\u‘ + str.charCodeAt(i).toString(16);
        } else {
            value += str[i];
        }
    }
    return value;
}

测试结果如下：

console.log(encodeUnicode(‘{"url":"这里有中文和zimu","time":1526129881}‘));
# 第一个结果
> "u007bu0022u0075u0072u006cu0022u003au0022u8fd9u91ccu6709u4e2du6587u548cu007au0069u006du0075u0022u002cu0022u0074u0069u006du0065u0022u003au0031u0035u0032u0036u0031u0032u0039u0038u0038u0031u007d"
# 第二个结果
> "{"url":"u8fd9u91ccu6709u4e2du6587u548czimu","time":1526129881}"