刨根究底字符编码之十四——UTF-16究竟是怎么编码的
Posted 刨根究底学编程
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了刨根究底字符编码之十四——UTF-16究竟是怎么编码的相关的知识，希望对你有一定的参考价值。
UTF-16究竟是怎么编码的
1.
首先要注意的是，代理Surrogate是专属于UTF-16编码方式的一种机制，UTF-8和UTF-32是不用代理的。
如前文所述，为了让UTF-16能继续编码基本平面后面的增补平面中的码点值，于是扩展了UTF-16编码方式。
具体的扩展方法就是为其增加了代理机制，用两个对应于基本平面码点(即BMP代理区中的码点)的16位码元来表示一个增补平面码点，这两个用来表示一个增补平面码点的特殊16位码元就被称为“代理对”。
如果要用简单的一句话来概括，就是——所有大于0xFFFF的码点值(即增补平面码点编号，范围为0x10000~0x10FFFF，十进制为65536~1114111；注意，0xFFFF是十六位二进制数的最大值的十六进制表示)要编码成UTF-16编码方式的话，就必须使用代理机制(也就是用代理对来表示)。
2.
在UTF-16编码方式中，被合起来称为”代理对“的这两个16位码元就其中的任一单个码元而言，其实就直接对应于基本平面BMP中的某一个码点(即BMP中每一个码点的值必然对应于一个16位码元的值，因为基本平面中的码点总数为2^16=65536个，而16位码元能表示的值也等于2^16=65536个)。
这样一来，就产生了冲突：某个UTF-16码元到底是用于表示基本平面字符的码元，还是用于表示增补平面字符的代理对中的代理码元？
因此，为避免冲突，这些被用作“代理”的任一码元所对应的码点在基本平面中均未定义字符，即均没有指定字符。
“代理”的真实含义或许就在于此：用两个基本平面中未定义字符的码点合起来“代为署理”增补平面中的码点。
因此，基本平面中这些用作“代理”的码点区域就被称之为“代理区(Surrogate Zone)”，其码点编号范围为0xD800~0xDFFF(十进制55296~57343)，共2048个码点。
3.
增补平面一共有16个平面(即第2平面~第17平面)，码点编号范围为0x10000~0x10FFFF(十进制为65536~1114111，码点总数为1048576个)。用两个代理码元表示，第一个码元的取值范围为0xD800~0xDBFF(二进制为1101 1000 0000 0000 ~ 1101 1011 1111 1111，十进制为55296 ~ 56319)，第二个码元的取值范围为0xDC00~0xDFFF(二进制为1101 1100 0000 0000 ~ 1101 1111 1111 1111，十进制为56320 ~ 57343)。
因此，增补平面的第一个码点的编号0x10000其UTF-16编码就是0xD800 0xDC00(即0x10000经UTF-16编码后的码元序列为0xD800 0xDC00)，其余类推。展现为二进制形式后如下：
====代理码元1==== ====代理码元2====
1101 10pp ppxx xxxx 1101 11xx xxxx xxxx
其中代理码元1中的110110、代理码元2中的110111是定数，p、x是变数。去掉定数后组合起来就是pppp xxxx xxxx xxxx xxxx，共20位(2^20=1048576)，刚好能够表示增补平面中的全部码点(0x10000~0x10FFFF，共1048576个)。其中pppp共4位，表示16个增补平面之一的编号(2^4=16)；紧接着的16位x表示某个增补平面内的某个码点(2^16=65536，而65536*16=1048576)。
4.
按照上面的编码方式，代理对里面的两个代理码元分别称之为高16位代理码元(或称为lead surrogates引导代理、前导代理)，和低16位代理码元(或称为trail surrogates尾随代理、后尾代理)。
由于引导代理和尾随代理的值分别在0xD800~0xDBFF(十进制为55296 ~ 56319)之间和0xDC00~0xDFFF(十进制为56320 ~ 57343)之间，所以首尾两个代理总共可以组合出(56319-55296+1)*(57343-56320+1)=1048576个代理对，也就是总共可以表示1048576个增补码点，而目前Unicode标准所确定的16个增补平面的码点总和也就是65536*16=1048576个。
（笨笨阿林原创文章，转载请注明出处）
5.
从增补平面的码点值通过基本平面中的代理对编码为增补平面字符的码元序列的具体算法如下：
1） 增补平面中的码点值(0x10000~0x10FFFF，二进制为0001 0000 0000 0000 0000~1 0000 1111 1111 1111 1111，对应的字符名称为U+10000~U+10FFFF)减去0x10000(二进制为0001 0000 0000 0000 0000)，可得到20位长的比特组(值的范围为0x00000~0xFFFFF，二进制为0000 0000 0000 0000 0000 ~ 1111 1111 1111 1111 1111)；
2）将得到的20位长的比特组分拆为两部分：高位10比特和低位10比特；
3）20位长的比特组中的高位10比特(值的范围为0x000~0x3FF，二进制为00 0000 0000~11 1111 1111)加上0xD800(二进制为1101 1000 0000 0000)，得到第一个代理码元即引导代理(值的范围是0xD800~0xDBFF，二进制为1101 1000 0000 0000 ~ 1101 1011 1111 1111)；
4）20位长的比特组中的低位10比特(值范围也是0x000~0x3FF，二进制为00 0000 0000~11 1111 1111)加上0xDC00(二进制为1101 1100 0000 0000)，得到第二个代理码元即尾随代理(值的范围是0xDC00~0xDFFF，二进制为1101 1100 0000 0000 ~ 1101 1111 1111 1111)；
5）将引导代理与尾随代理按前后顺序组合在一起成为“代理对”，就得到了增补平面字符的码元序列。
例如，增补平面中码点值为10437(字符名称为U+10437)的字符( 以上是关于刨根究底字符编码之十四——UTF-16究竟是怎么编码的的主要内容，如果未能解决你的问题，请参考以下文章 刨根究底字符编码之十六——Windows记事本的诡异怪事：微软为什么跟联通有仇？（没有BOM，所以被误判为UTF8。“联通”两个汉字的GB内码，其第一第二个字节的起始部分分别是“110”和“10”，，