中文网页编解码问题

Posted Democracy and Science

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了中文网页编解码问题相关的知识,希望对你有一定的参考价值。

0、说明:

0.1、首先是unicode转义字符

在涉及Web前端开发时, 有时会遇到\uXXXX格式表示的字符, 其中XXXX是16进制数字的字符串表示形式, 在js中这个叫Unicode转义字符, 和\n \r同属于转义字符. 在其他语言中也有类似的, 可能还有其它变形的格式.

0.2、url编码/百分比编码

HTTP 請求參數,必須使用請求參數名稱與請求參數值,中間以等號(=)表示成對關係,現在問題來了,如果請求參數值本身包括=符號怎麼辦?又或許你想發送的請求 參數值是「http://openhome.cc」這個值呢?假設是GET請求,你不能直接這麼在網址列上鍵入:http://openhome.cc/addBookmar.do?url=http://openhome.cc

在URI的規範中定義了一些保留字元(Reserved character),像是「:」、「/」、「?」、「&」、「=」、「@」、「%」等字元,在URI中都有它的作用,如果你要在請求參數上表達URI中的保留字元,必須在%字元之後以十六進位數值表示方式,來表示該字元的八個位元數值。

例如,「:」字元真正儲存時的八個位元為00111010,用十六進位數值來表示則為3A,所以必須使用「%3A」來表示「:」,「/」字元儲存時的八個 位元為00101111,用十六進位表示則為2F,所以必須使用「%2F」來表示「/」字元,所以想發送的請求參數值是「http: //openhome.cc」的話,則必須使用以下格式:http://openhome.cc/addBookmar.do?url=http%3A%2F%2Fopenhome.cc。這是URI規範中的百分比編碼(Percent-Encoding),也就是俗稱的URI編碼或URL編碼。

 

1、16进制解码

 

static final Pattern reUnicode = Pattern.compile("\\\\u([0-9a-zA-Z]{4})");

public static String decode(String s) {

    Matcher m = reUnicode.matcher(s);

    StringBuffer sb = new StringBuffer(s.length());

    while (m.find()) {

        m.appendReplacement(sb,

                Character.toString((char) Integer.parseInt(m.group(1), 16)));

    }

    m.appendTail(sb);

    return sb.toString();

}

 2、然后网页解码

 URLDecoder.decode(url,"UTF-8")

3、综合就是

decode( URLDecoder.decode(url,"UTF-8"))

4、参考文献

http://netwjx.github.io/blog/2012/07/07/encode-and-decode-unicode-escape-string/

http://openhome.cc/Gossip/Encoding/URLEncoding.html

以上是关于中文网页编解码问题的主要内容,如果未能解决你的问题,请参考以下文章

UnicodeDecodeError:'ascii'编解码器无法解码Textranking代码中的字节[重复]

OpenCV videoWriter编解码器问题

Opencv 编解码器选择对话框未显示

地址错误:(unicode error)'unicodeescape'编解码器无法解码

无法访问编解码器。 (-66672)

网页录制gb28181录像