字符编码简述

Posted 2023-05-08

参考技术A

众所周知，java中如果要计算一个字符串的长度，可以直接利用String的length方法。如下：

显然，这里的length方法计算的字符数，一个英文字母按一个字符计算，一个中文汉字也是按照一个字符进行计算的。
不过，如果想要获取字符串的字节数呢？String依然提供了现成的方法供我们使用，如下所示：

这里，可以看到几个注意点：

先来看第一点，也是本文主要想讨论的问题：UTF-8、GBK的区别是什么，为什么会导致最终获取的字节数不一样？

要解答上面的问题，需要先知道GBK和UTF-8分别是什么。
简单的说，GBK和UTF-8是两种字符的编码方式。那么，问题又来了，什么是字符的编码方式呢？除了GBK和UTF-8，有没有其他的编码方式呢？其中的区别又在哪里？

关于字符的编码方式，姑且可以简单的理解为，将一个字符表示成一串bit流的规则（这个说法是不太准确的，下文会有详细解释）。比如说，UTF-8就是一种非常常用的字符编码方式，“汉”字以UTF-8的规则计算后表示出来的bit流就是“11100110 10110001 10001001”。
有些时候，编码方式，还会被称为编码规则、编码方案。

实际上，从计算机不再单纯地拿来进行数字计算开始，字符的编码方式就一直在不断的演进，现在就借着这一段历史，来对包括GBK、UTF-8在内的几种常见字符编码方式进行下介绍。

计算机刚出世的时候，美国人为了交流通信方便，约定了一套字符编码方式，就是ASCII码。
ASCII全称为American Standard Code for Information Interchange，即美国信息互换标准码。

ASCII码的字符集中包含了26个英文字母、10个数字（0-9）、一些常见的符号（@、#、！），基本能够满足在英语环境下的需求。ASCII字符集里面只有128个字符，每个字符都有一个编号，也就是0-127。而当时大家已经习惯于用8个bit来表示一个字节，所以干脆取一个字节来表示一个字符。其中，最高位置为0，其他位全部用上，总共128个位置，刚好能够与ASCII字符集一一对应。
举个例子，在ASCII码中，‘A’对应的编号是65，用一个字节表示就是“01000001”。

这里对引入的两个新概念做下解释：
字符集 ：字面上理解就是字符的集合。
编号字符集 ：指带有数字编号的字符集合，有时候也简称为字符集。例如：[1:a, 2:b, 3:c]，在此字符集中，包含三个字符：a、b、c，并且其编号分别为1，2，3。

不过，后来计算机传到了欧洲，不少欧洲国家的语言使用ASCII码无法完整地进行表示，比如德语、法语。上文可以看到，在ASCII编码中，一个ASCII字符，是用一个字节来表示的。一个字节实际上能够表示256个数字，也就至少能够表示256个字符，而ASCII字符集只有128个字符。所以这时候出现了多种基于ASCII的编码方式。大家的基本思路都是一样的：还是使用一个字节表示一个字符，0-127依然用来表示ASCII字符集（字符编号与ASCII码保持一致），128-255拿来表示自己语言中的特殊字符。

显然，这么搞出来的多个编码方式互不兼容，大家会很痛苦。所以最后出现了两套统一的编码方案，能够对欧洲各国的字符都进行支持。这两套编码方案分别是：EASCII（Extended ASCII）字符编码方案，ISO/IEC 8859字符编码方案。

这两套方案也是沿用上面的思路：0-127依然用来表示ASCII字符集（字符编号与ASCII码保持一致），128-255用来表示欧洲各国的特殊字符（这部分字符集又被称为扩展字符集）。

由于在这两种编码方案中，ASCII字符集中的字符，保留了与ASCII码相同的字符编号，所以 这两种编码方案都是对ASCII编码完美兼容的 。

不过，与ASCII、EASCII属于单个独立字符集不同，ISO/IEC 8859是一组字符集的统称。其下共有15个字符集，即ISO/IEC 8859-n，n=1，2，3 …… 15，16（其中12未定义，所以共15个）。

到现在为止，EASCII已经很少有人用了，ISO/IEC 8859却是被广泛使用，其中ISO/IEC 8859-1被使用的最为普遍。而ISO/IEC 8859-1又被简称为ISO 8859-1，而且它还有一个Latin-1（也写作Latin1）的简称。

终于，计算机来到了中国。如上文所述，仿照ASCII码的规则，1个字节最多也就只能表示256个字符。但是，中国汉字有几万个，常用字就有几千个，这样的话，1个字节是完全不够用的。所以，当时的全国信息技术标准化技术委员会搞了一套自己的编码方案：用两个字节表示一个字符。这就是GB系列编码。“GB”是“国标”的拼音首字母缩写，意为“国家标准”。

最早的GB编码就是GB2312，收录了6763个汉字和682个符号，基本能够满足日常需求。
GB2312规定，一个汉字的编号必须大于127，并且编号大于127的字符必须用两个字节来表示。而0-127，仍然用来表示之前的ASCII字符集，这部分字符的编号依旧与ASCII码保持一致，并且只有一个字节来表示。

所以，GB2312对ASCII码是完全兼容的。不过GB2312对ISO是不兼容的，因为它舍弃了ISO中128-255之间的字符映射。
同时，也可以认为，在GB2312中，英文字符只占一个字节，而中文字符会占两个字节。

而计算机在依照GB2312编码进行字符识别时，会先判断第一个字节的第一个bit位是否为0，如果是，则读取1个字节，进行编码解析；如果不是，则读取两个字节，进行编码解析。

此外，当时出于种种原因考虑，GB2312对ASCII码中的西文字母、数字、标点等特殊符号进行了重新编码，用两个字节来进行表示。所以，这类字符在GB2312中就有了两种编码表示，其中小于128的编码（用1个字节表示），就被称为半角字符，大于128的编码（用2个字节表示），就被称为全角字符。

到目前为止，由于当时导致全角字符出现的历史原因已经不再存在，所以只有很少的一些全角字符还在使用（比如中文的逗号，问号，感叹号，空格等），其他的许多全角字符已经很少用了。

虽然GB2312能够满足基本的日常需求，但是毕竟收录的汉字还是太少，繁体字、生僻字是不包含在GB2312字符集中的。由此，有关部门对GB2312进行了扩展，推出了GBK编码。

GBK与GB2312基本一致，都是使用两个字节来表示汉字。不过有一点不一样：在GB2312中，表示汉字的两个字节中，其首位必须都是1；而在GBK中，只要求第一个字节（高字节）的首位为1，对于第二个字节（低字节），没做要求。当然，如果首位为0，都是用来表示ASCII字符集里的内容。

GBK可以认为是对GB2312的扩展，其对GB2312是完美兼容的。所以，GBK对ASCII码也是完美兼容的。

GB18030是对GBK的进一步扩展，在扩展现有汉字的基础上，收录了数千个少数民族的字符。其由中国国家质量技术监督局于2000年3月17日推出，用以取代GBK。

GB18030同样保持向下兼容，其对GBK、GB2312、ASCII编码完美兼容。

诸如GB2312、GBK、GB18030之类的编码格式，被程序员们称为DBCS（Double Byte Charecter Set：双字节字符集）。在DBCS的标准里，英文字符用一个字节表示，并且这个字节的第一位必然为0（英文字符对应的字号小于128）；中文字符用两个字节表示，第一个字节的第一位必然为1。

如上文所述，在计算机的传播途中，为了兼容各地的语言，出现了许许多多的编码方案。但是遗憾的是，这些编码方案互不兼容，直接影响到了信息的传播，这也催生了能够兼容全球各种字符的统一编码方案的出现。

历史上存在两个独立的尝试创立单一字符集的组织：

不过在1991年前后，两个项目组发现没必要存在两个不兼容的字符集，所以它们开始合并双方成果，约定使用统一的编码表。从Unicode 2.0开始，Unicode项目采用了与ISO 10646-1相同的字库与字码，ISO也承诺，ISO将不会替超出U+10FFFF的UCS-4编码赋值，以使得两者保持一致（UCS的概念下文会有详述，此处不必过于关注）。

目前，这两个项目组仍独立存在，并独立地发布各自的标准，不过二者约定保持双方的标准码表兼容，并共同调整任何未来的扩展。

ISO 10646标准，只是一个简单的字符集表。它定义了一些编码的别名，指定了一些与标准有关的术语，并包括了规范说明，指定了怎样使用UCS链接其他ISO标准的实现，比如ISO/IEC 6429和ISO/IEC 2022。还有一些与ISO紧密相关的，比如ISO/IEC 14651是关于UCS字符串排序的。

Unicode标准，额外定义了许多与字符有关的语义符号学内容，并详细说明了绘制某些语言（如阿拉伯语）表达形式的算法、处理双向文字（比如拉丁文和希伯来文的混合文字）的算法、排序与字符串比较所需的算法等。

在书写Unicode编码时，规定以十六进制数来进行表示，并需要加上“U+”前缀。比如“汉”字的Unicode编码为“U+6C49”。

为了能够更方便地介绍后续的内容，这里需要先解释清楚几个名词（个人认为这几个概念有助于理解后续的内容，如果不想看，可以直接跳过此节）。
编号字符集（CCS：Coded Character Set） ：指带有数字编号的字符集合。上文已经介绍过了。
字符编码方式（CEF：Character Encoding Form） ：将字符集的数字编号转换为字节流的规则。

还是上文中的例子，Unicode字符集中的“汉”字，在Unicode字符集中的编号是0x6C49，在UTF-8编码中，需要使用3个字节来表示，表示成二进制则是“11100110 10110001 10001001”（UTF-8的具体编码规则，下文会有详述）。
在这个例子中，Unicode就是所谓的编号字符集（CCS），UTF-8编码便是字符编码方式（CEF）。

实际上，在unicode字符集出世之前，字符集与编码方式往往是耦合在一起的，一套字符集往往也只有一套编码规则，这两个概念也没必要严格区分，人们也经常进行混用。比如ASCII码既可以认为是一套字符集，也可以认为是一种字符编码方式。

但是，Unicode字符集出现之后，字符集和编码方式被分离解耦了。此时，一套字符集可能有多套的编码规则，我们所熟知的UTF-8、UTF-16就是建立在Unicode字符集上的字符编码方式。

编码规则大致上可以分为两类：直接映射与间接映射。
直接映射 ，是指字符在字符集中的数字编号与编码后的编码串是一样的。比如ASCII字符集中，‘A’对应的字符编号是65，换算成二进制为“1000001”，按照ASCII码编码后，用一个字节来表示，就是“01000001”，也就是十进制中的65。编码前后，其实可以视为是一样的。
间接映射 ，就是字符在字符集中的数字编号与编码后的编码串不一定一样。还是上面的例子，unicode字符集中“汉”字的字符编号为0x6C49，如果换算成二进制就是“01101100 01001001”，但是UTF-8编码后要用三个字节来表示，表示成二进制就是“11100110 10110001 10001001”。编码前后，数值不一样。

其实，Unicode出现之前，大家一直用的都是直接映射，编码前后数值是一样的，这也是一直没有明确区分字符集和编码方式这两个概念的一个原因。

解释清楚了这几个概念，下面我们继续：

UCS全称为“Unicode Character Set”，是由ISO制定的ISO 10646标准所定义的标准字符集。
UCS又称“Universal Multiple-Octet Coded Character Set”，译为通用多八位编码字符集。
相对应的，Unicode项目所使用的标准字符集通常被称为Unicode字符集。

如上文所述，Unicode 2.0发布时，Unicode字符集与UCS字符集基本保持了一致，之后虽然二者独立存在，但是一直在保持互相的兼容。

在ISO与unicode合并之前，ISO就有一套字符编码模式，也就是UCS-2。
UCS-2的规则就是用两个字节来表示字符集中的字符，并且它使用的是直接映射的方式。所以可以简单理解为，UCS-2就是将字符的数字编号直接转化为二进制，然后用两个字节来进行存储。
与ASCII类似，此时的UCS-2其实可以视为一套字符集，也可以视为一套编码规则。

UCS-2用两个字节来表示一个字符，所能容纳的字符数量为2^16 = 65536个。
在ISO与Unicode合并字符集之后，双方约定字符集需要容纳的字符数量远远超过65535个（到目前为止，Unicode字符集可容纳的字符量为2^16 * 17 = 1114112个），此时UCS-2显然不够用了，所以ISO推出了新的规则，就是UCS-4.

UCS-4与UCS-2基本一样，唯一的不同点是，UCS-4使用4个字节来表示一个字符。
同样，UCS-4可以认为是一套字符集，也可以认为是一套编码规则。

在有些文章里，UCS-4有广义和狭义两种含义，广义上UCS-4包含UCS-2，狭义上不包含。个人理解，在指代字符集的时候，UCS-4包含UCS-2，但是在指代编码规则时，UCS-4不包含UCS-2。

UCS-2全称2-byte Universal Character Set，直译为2字节通用字符集。
UCS-4全称4-byte Universal Character Set，直译为4字节通用字符集。

注意：UCS-2和UCS-4组成的UCS字符集，都可以采用UTF-8、UTF-16、UTF-32进行编码。所以UCS-2与UTF-16并不等同，UCS-4与UTF-32也不等同。

如上文所述，ISO与Unicode合并之后，ISO推出了UCS-4。但是Unicode推出的却是另外一套编码规则：UTF-16.

UTF-16源于UCS-2，但是与UCS-2不太一样。UCS-2属于定长编码方式，永远使用两个字节来表示一个字符。而UTF-16属于变长编码方式，对于UCS-2字符集中的字符（0x0000～0xFFFF）使用2个字节来表示，对于UCS-4字符集中除开UCS-2里的字符（0x10000～0x10FFFFF），使用4个字节来表示。

UTF-16的编码规则属于间接映射。对于UCS-2字符集里面的内容，保持字符编号与生成的编码串相同，但是对于UCS-4中的其他字符（指除开UCS-2中的字符），字符编号与最终的编码串并不相同。这里采取了一套计算算法：代理机制。不过本文对此不做深究。

虽然UTF-16能够满足需求，但是一来对于ASCII字符集中的字符，UTF-16仍然需要使用两个字节来存储（这样会有一个字节的空间被浪费），并且ASCII中的字符，其UTF-16编码的第一个字节将永远是0x00，而C语言中又因为会将此字节视为字符串末尾导致字符串无法正常解析。所以UTF-16刚推出的时候，就受到了很多的抵制。

由此，UTF-8出现了。

UTF-8也是一种变长编码方式，它使用1到4个字节来表示一个字符。
字符编号为0～127（十进制）的字符，使用一个字节进行表示。
字符编号为128～2047（十进制）的字符，使用两个字节进行表示。
字符编号为2048～65535（十进制）的字符，使用三个字节进行表示。
字符编号为65536～2097151（十进制）的字符，使用四个字节进行表示。

UTF-8和UTF-16，都属于间接映射。也就是说，字符编号与最终的编码并不完全是一样的。
实际上，UTF-8的编码规则如下：

还是上文中的例子，Unicode字符集中的“汉”字，字符编号以16进制表示为“0x6C49”，换算成十进制就是27721，所以需要使用三个字节进行表示。而“0x6C49”换算成二进制就是“110110001001001”，代入上图中三字节的编码规则（“1110xxx 10xxxxxx 10xxxxxx”），最终得到的就是"1110110 10110001 10001001"。

当然，对于ASCII字符集里面的字符（字符编号小于128），UTF-8只需要一个字节即可表示。与UTF-16的两个字节相比，空间利用率更高（同样，在进行数据传输时，效率也更高）。
也因此，UTF-8对于ASCII码属于完美兼容，而UTF-16只能算是间接兼容（毕竟多了一个字节，解析的时候还需要进行转化）。考虑到计算机世界里ASCII字符的广泛性，这一点意义重大。
顺便说一句，虽然上面并没有介绍UTF-16的代理机制，但是可以说明的是，这个代理机制的算法要比UTF-8的算法更加复杂，一定程度上也导致了UTF-16进行编码和解码需要耗费更多的资源。

此外，可以看到，UTF-8编码产出的字节，都带有固定的前缀。这样做有几个好处：
第一，字符使用UTF-8编码之后，第一个字节的前面的几位，可以明确标识出来，此字符需要几个字节才能表示出来。这样的话，解码程序在读入每一个字节的时候，就能够知道当前字节是否为一个字符的首字节；如果是首字节的话，立刻就能知道还需要读入几个字节才能解析出来这个字符。
第二，字符经UTF-8编码之后，生成做到多个字节中，第一个字节的固定前缀与后续字节的固定前缀都不一样。这样就保证，在传输过程中，如果出现了局部的字节错误，比如增加、丢失、修改了某些字节。将只会影响到有限个字符，并不会导致后续的所有的字符都解析错误。这一点是UTF-16、UTF-32、GB系列都做不到的事情。
第三，同样因为编码后，首字节的前缀与后续字节的前缀都不同，所以从UTF-8字节流中的任一字节开始，往后或者往前都可以很轻易的找到当前字符或者临近字符的起始位置。
第四，依照目前的规则（检查首字节，在第一个0出现之前，有几个1，就代表当前字符需要用多少个字节进行表示），UTF-8可以很轻易地扩展到5个字节、6个字节，甚至是7个字节和8个字节。这就保证了UTF-8可以很轻易地支持Unicode字符集的不断扩充。

与UTF-8和UTF-16相比，UTF-32就比较简单了。

UTF-32的编码规则属于直接映射，并且每个字符都使用四个字节来表示。
因此，UTF-32比UTF-16更浪费空间。但是因为使用的是定长编码（每个字符都是四个字节），所以文本处理速度上要比UTF-8和UTF-16快一些。

在三大UTF编码中，UTF-32既不是最早出现的（UTF-16），也不是最优设计（目前公认UTF-8为最优设计），所以目前已经很少有地方在用了。

上文聊到一个内容，UTF-16编码，有可能使用两个或者四个字节来表示一个字符。那么问题来了，假设存在一个字符，其用UTF-16编码之后，对应的字节流，用16进制表示为0xFA 0xFB。这时候，在计算机存储与传输中，到底应该是0xFA放前面呢，还是应该0xFB放前面呢？

比较遗憾的是，在计算机发展历程中，出于各种各样的原因，大家并没有形成统一，而是出现了多种方案，比较常见的是如下两种：
一、大端序（Big-Endian）：又称高尾端序，即数据的尾端存储在内存的高地址；数据的头端存储在内存的低地址。
二、小端序（Little-Endian）：又称低尾端序，即数据的尾端存储在内存的低地址；数据的头端存储在内存的高地址。

为了方便理解记忆，这里用几个例子来对大端序和小端序进行下简单的说明。
首先，我们在阅读和书写二进制串时，总是高位在前，低位在后。比如，拿“汉字”为例，其中“汉”对应的unicode编码为“U+6C49”，“字”对应的unicode编码为“U+5B57”，如下所示：

而计算机内存的地址增长，我们设定为从左到右，如下图所示：

那么这种情况下，大端序，就是将写入内存时，字节顺序不变。如下所示：

而小端序，就需要将字节串前后颠倒一下顺序，再写入内存，如下所示：

注意：

不过，问题来了，上面举的例子中，“汉”和“字”在UTF-16编码下，都只需要两个字节就能表示。那对于需要四个字节才能表示的字符呢？这里选取两个字符，对应的unicode编码分别为"U+129024"（ http://www.52unicode.com/leftwards-arrow-with-small-triangle-arrowhead-unicode ）与“U+4E00”（ http://www.52unicode.com/ideograph-one-a-an-alone-cjk-unicode ）。其中第一个字符使用UTF-16进行编码时需要做间接映射，需要用4个字节来表示，而第二个字节做直接映射即可。如下：

此时，在两种字节顺序中的表现如下：
大端序：

小端序：

可以看到，在UTF-16中，即使对于需要使用四个字节来表示的字符，大端序和小端序的作用范围还是被限制到了两个字节。

实际上，这里有一个码元（code unit）的概念。

在解释码元之前，需要先解释另外一个概念：CES。
CES，全称Character Encoding Scheme，可以直译为字符编码模式，是指将字节流转换为最终的bit流的规则。

而上文中，提到过两个相关的概念：CCS（编号字符集）和CEF（字符编码方式）。
CCS（Coded Character Set）：编号字符集，指带有数字编号的字符集合。
CEF（Character Encoding Form）：字符编码方式，将字符集的数字编号转换为字节流的规则。
三者之间的关系如下：

举个例子（为了方便阅读，最终的bit流以16进制的方式展示）：

其中，CEF得出的字节流可以理解为数字编号在计算机中逻辑表示方式，我们前面介绍到的UTF-8、UTF-16都是CEF；而CES的得出bit流序列可以理解为数字编号在计算机中的物理表现方式，上面提到的字节序（大端序、小端序等），就可以认为是字符编码中的CES。

回到码元的概念。码元，可以认为是CEF在将字节流转变为bit流时的最小操作单元。
举个例子，UTF-16中，以2个字节为一个码元，所以在生成bit流时，只会在2个字节内执行大端序和小端序的排序规则。
类似的，在UTF-32中，以4个字节为一个码元。但是，在UTF-8中，以1个字节作为一个码元，所以在使用UTF-8进行编码时，大端序和小端序其实并不会起作用。

由于在使用诸如UTF-16或者UTF-32等以多个字节作为一个码元的编码方式时，对于同一个bit串，使用大端序和小端序解析出来的最终结果很有可能完全不同。所以，在进行数据传输时，数据的生产方必须告知接收方应该使用哪种方式进行解析。而这个告知操作便由BOM（Byte-Order Mark）来实现。

在Unicode中，有一个字符，其编码为U+FEFF，其含义为零宽度不中断空格（ZERO WIDTH NO-BREAK SPACE）。它名义上是个空格，但是宽度为0，所以不可见，也无法被打印出来，换句话说，这个字符其实没啥用。
但是BOM便是借助于这个字符来实现。

为了告知字节流的接收方，这串bit的字节顺序是什么样子的，约定了个办法。就是在每串字节流前面，都要添加一个上述的字符U+FEFF。对于UTF-16如果是大端序，首先读出来的两个字节就会是0xFE 0xFF；如果是小端序，首先读出来的两个字节就会是0xFF 0xFE。这个强行加载字节流最前面，用来表示字节序的字符，就是上文所说的BOM。类似的，对于UTF-32，如果是大端序，首先读出来的就是0x00 0x00 0xFE 0xFF，而如果是小端序，首先读出来的就是0xFF 0xFE 0x00 0x00.

从Unicode 3.2开始，U+FEFF这个字符被规定只能出现在字节流的开头，且只能用于标识字节序，所以这个字符又有了个别名：字节序标记。不过Unicode又添加了个字符用于标识零宽度不中断空格，编码为U+2060。

上文也提到过，对于UTF-8来说，不存在字节序所带来的问题，所以，UTF-8产出的字节流是根本不需要BOM的。不过某些时候，还是会给UTF-8的字节流添加一个BOM注意此时并不是为了标识当前的字节序，而是表示当前字节流是用UTF-8编码完成的（毕竟UTF-8根本没有字节序问题需要BOM解决）。而在UTF-8前面添加的这个BOM，对应的字节流是0xEF 0xBB 0xBF。

对BOM做下简单的整理，如下：

现在，回到文章最初时提的两个问题：
Q：为什么同一个字符串，使用GBK和UTF-8进行编码后的字节数不一样？
A：因为GBK对于一个字符，恒定使用两个字节来表示，但是UTF-8会使用1～4个字节来表示。而文章开头时，给出的示例字符串为三个汉字“哈哈哈”，在UTF-8中，一个汉字会用三个字节来表示。所以gbk编码后，字节数为2 * 3 = 6，而UTF-8编码后，字节数为3 * 3 = 9.
Q：为什么在获取字节数时，不指定charset的结果与指定使用UTF-8时相同？
A：可以看一下getByte()的源码，如下：

继续看958行的encode方法：

注意看384行，会取默认的charset，继续跟下去：

看608行，取得时系统属性file.encoding，以此作为默认的编码方式。
验证一下，如下：

CCS、CES、CEF、码元的概念，皆引用自知乎专栏（ https://zhuanlan.zhihu.com/p/27026033 ），不保证正确性与通用性，不过个人认为这几个概念，对于理解unicode、UTF等有着极大的帮助。

(转)十分钟搞清字符集和字符编码

十分钟搞清字符集和字符编码

转载自： http://cenalulu.github.io/linux/character-encoding/作者： 卢钧轶

 

 

本文将简述字符集，字符编码的概念。以及在遭遇乱码时的一些常用诊断技巧

背景：字符集和编码无疑是IT菜鸟甚至是各种大神的头痛问题。当遇到纷繁复杂的字符集，各种火星文和乱码时，问题的定位往往变得非常困难。

本文就将会从原理方面对字符集和编码做个简单的科普介绍，同时也会介绍一些通用的乱码故障定位的方法以方便读者以后能够更从容的定位相关问题。

在正式介绍之前，先做个小申明：如果你希望非常精确的理解各个名词的解释，那么可以查阅wikipedia。本文是博主通过自己理解消化后并转化成易懂浅显的表述后的介绍。

什么是字符集

在介绍字符集之前，我们先了解下为什么要有字符集。我们在计算机屏幕上看到的是实体化的文字，而在计算机存储介质中存放的实际是二进制的比特流。那么在这两者之间的转换规则就需要一个统一的标准，否则把我们的U盘插到老板的电脑上，文档就乱码了；小伙伴QQ上传过来的文件，在我们本地打开又乱码了。于是为了实现转换标准，各种字符集标准就出现了。简单的说字符集就规定了某个文字对应的二进制数字存放方式（编码）和某串二进制数值代表了哪个文字（解码）的转换关系。

那么为什么会有那么多字符集标准呢？这个问题实际非常容易回答。问问自己为什么我们的插头拿到英国就不能用了呢？为什么显示器同时有DVI，VGA，HDMI，DP这么多接口呢？很多规范和标准在最初制定时并不会意识到这将会是以后全球普适的准则，或者处于组织本身利益就想从本质上区别于现有标准。于是，就产生了那么多具有相同效果但又不相互兼容的标准了。

说了那么多我们来看一个实际例子，下面就是屌这个字在各种编码下的十六进制和二进制编码结果，怎么样有没有一种很屌的感觉？

字符集	16进制编码	对应的二进制数据
UTF-8	0xE5B18C	1110 0101 1011 0001 1000 1100
UTF-16	0x5C4C	1011 1000 1001 1000
GBK	0x8CC5	1000 1100 1100 0101

什么是字符编码

字符集只是一个规则集合的名字，对应到真实生活中，字符集就是对某种语言的称呼。例如：英语，汉语，日语。对于一个字符集来说要正确编码转码一个字符需要三个关键元素：字库表（character repertoire）、编码字符集（coded character set）、字符编码（character encoding form）。其中字库表是一个相当于所有可读或者可显示字符的数据库，字库表决定了整个字符集能够展现表示的所有字符的范围。编码字符集，即用一个编码值code point来表示一个字符在字库中的位置。字符编码，将编码字符集和实际存储数值之间的转换关系。一般来说都会直接将code point的值作为编码后的值直接存储。例如在ASCII中A在表中排第65位，而编码后A的数值是0100 0001也即十进制的65的二进制转换结果。

看到这里，可能很多读者都会有和我当初一样的疑问：字库表和编码字符集看来是必不可少的，那既然字库表中的每一个字符都有一个自己的序号，直接把序号作为存储内容就好了。为什么还要多此一举通过字符编码把序号转换成另外一种存储格式呢？

其实原因也比较容易理解：统一字库表的目的是为了能够涵盖世界上所有的字符，但实际使用过程中会发现真正用的上的字符相对整个字库表来说比例非常低。例如中文地区的程序几乎不会需要日语字符，而一些英语国家甚至简单的ASCII字库表就能满足基本需求。而如果把每个字符都用字库表中的序号来存储的话，每个字符就需要3个字节（这里以Unicode字库为例），这样对于原本用仅占一个字符的ASCII编码的英语地区国家显然是一个额外成本（存储体积是原来的三倍）。算的直接一些，同样一块硬盘，用ASCII可以存1500篇文章，而用3字节Unicode序号存储只能存500篇。于是就出现了UTF-8这样的变长编码。在UTF-8编码中原本只需要一个字节的ASCII字符，仍然只占一个字节。而像中文及日语这样的复杂字符就需要2个到3个字节来存储。

UTF-8和Unicode的关系

看完上面两个概念解释，那么解释UTF-8和Unicode的关系就比较简单了。Unicode就是上文中提到的编码字符集，而UTF-8就是字符编码，即Unicode规则字库的一种实现形式。随着互联网的发展，对同一字库集的要求越来越迫切，Unicode标准也就自然而然的出现。它几乎涵盖了各个国家语言可能出现的符号和文字，并将为他们编号。详见：Unicode on Wikipedia。

Unicode的编号从0000开始一直到10FFFF共分为16个Plane，每个Plane中有65536个字符。而UTF-8则只实现了第一个Plane，可见UTF-8虽然是一个当今接受度最广的字符集编码，但是它并没有涵盖整个Unicode的字库，这也造成了它在某些场景下对于特殊字符的处理困难（下文会有提到）。

UTF-8编码简介

为了更好的理解后面的实际应用，我们这里简单的介绍下UTF-8的编码实现方法。即UTF-8的物理存储和Unicode序号的转换关系。

UTF-8编码为变长编码。最小编码单位（code unit）为一个字节。一个字节的前1-3个bit为描述性部分，后面为实际序号部分。

• 如果一个字节的第一位为0，那么代表当前字符为单字节字符，占用一个字节的空间。0之后的所有部分（7个bit）代表在Unicode中的序号。
• 如果一个字节以110开头，那么代表当前字符为双字节字符，占用2个字节的空间。110之后的所有部分（5个bit）加上后一个字节的除10外的部分（6个bit）代表在Unicode中的序号。且第二个字节以10开头
• 如果一个字节以1110开头，那么代表当前字符为三字节字符，占用2个字节的空间。110之后的所有部分（5个bit）加上后两个字节的除10外的部分（12个bit）代表在Unicode中的序号。且第二、第三个字节以10开头
• 如果一个字节以10开头，那么代表当前字节为多字节字符的第二个字节。10之后的所有部分（6个bit）和之前的部分一同组成在Unicode中的序号。

具体每个字节的特征可见下表，其中x代表序号部分，把各个字节中的所有x部分拼接在一起就组成了在Unicode字库中的序号

Byte 1	Byte 2	Byte3
0xxx xxxx
110x xxxx	10xx xxxx
1110 xxxx	10xx xxxx	10xx xxxx

我们分别看三个从一个字节到三个字节的UTF-8编码例子：

实际字符	在Unicode字库序号的十六进制	在Unicode字库序号的二进制	UTF-8编码后的二进制	UTF-8编码后的十六进制
$	0024	010 0100	0010 0100	24
¢	00A2	000 1010 0010	1100 0010 1010 0010	C2 A2
€	20AC	0010 0000 1010 1100	1110 0010 1000 0010 1010 1100	E2 82 AC

细心的读者不难从以上的简单介绍中得出以下规律：

• 3个字节的UTF-8十六进制编码一定是以E开头的
• 2个字节的UTF-8十六进制编码一定是以C或D开头的
• 1个字节的UTF-8十六进制编码一定是以比8小的数字开头的

为什么会出现乱码

先科普下乱码的英文native说法是mojibake。

简单的说乱码的出现是因为：编码和解码时用了不同或者不兼容的字符集。对应到真实生活中，就好比是一个英国人为了表示祝福在纸上写了bless（编码过程）。而一个法国人拿到了这张纸，由于在法语中bless表示受伤的意思，所以认为他想表达的是受伤（解码过程）。这个就是一个现实生活中的乱码情况。在计算机科学中一样，一个用UTF-8编码后的字符，用GBK去解码。由于两个字符集的字库表不一样，同一个汉字在两个字符表的位置也不同，最终就会出现乱码。

我们来看一个例子：假设我们用UTF-8编码存储很屌两个字，会有如下转换：

字符	UTF-8编码后的十六进制
很	E5BE88
屌	E5B18C

于是我们得到了E5BE88E5B18C这么一串数值。而显示时我们用GBK解码进行展示，通过查表我们获得以下信息：

两个字节的十六进制数值	GBK解码后对应的字符
E5BE	寰
88E5	堝
B18C	睂

解码后我们就得到了寰堝睂这么一个错误的结果，更要命的是连字符个数都变了。

如何识别乱码的本来想要表达的文字

要从乱码字符中反解出原来的正确文字需要对各个字符集编码规则有较为深刻的掌握。但是原理很简单，这里用最常见的UTF-8被错误用GBK展示时的乱码为例，来说明具体反解和识别过程。

第1步 编码

假设我们在页面上看到寰堝睂这样的乱码，而又得知我们的浏览器当前使用GBK编码。那么第一步我们就能先通过GBK把乱码编码成二进制表达式。当然查表编码效率很低，我们也可以用以下SQL语句直接通过MySQL客户端来做编码工作：

1. mysql [localhost] {msandbox} > select hex(convert(‘寰堝睂‘ using gbk));
2. +-------------------------------------+
3. | hex(convert(‘寰堝睂‘ using gbk)) |
4. +-------------------------------------+
5. | E5BE88E5B18C |
6. +-------------------------------------+
7. 1 row in set (0.01 sec)

第2步 识别

现在我们得到了解码后的二进制字符串E5BE88E5B18C。然后我们将它按字节拆开。

Byte 1	Byte 2	Byte 3	Byte 4	Byte 5	Byte 6
E5	BE	88	E5	B1	8C

然后套用之前UTF-8编码介绍章节中总结出的规律，就不难发现这6个字节的数据符合UTF-8编码规则。如果整个数据流都符合这个规则的话，我们就能大胆假设乱码之前的编码字符集是UTF-8

第3步 解码

然后我们就能拿着E5BE88E5B18C用UTF-8解码，查看乱码前的文字了。当然我们可以不查表直接通过SQL获得结果：

1. mysql [localhost] {msandbox} ((none)) > select convert(0xE5BE88E5B18C using utf8);
2. +------------------------------------+
3. | convert(0xE5BE88E5B18C using utf8) |
4. +------------------------------------+
5. | 很屌 |
6. +------------------------------------+
7. 1 row in set (0.00 sec)

常见问题处理之Emoji

所谓Emoji就是一种在Unicode位于\u1F601-\u1F64F区段的字符。这个显然超过了目前常用的UTF-8字符集的编码范围\u0000-\uFFFF。Emoji表情随着IOS的普及和微信的支持越来越常见。下面就是几个常见的Emoji:

emoji1

那么Emoji字符表情会对我们平时的开发运维带来什么影响呢？最常见的问题就在于将他存入MySQL数据库的时候。一般来说MySQL数据库的默认字符集都会配置成UTF-8（三字节），而utf8mb4在5.5以后才被支持，也很少会有DBA主动将系统默认字符集改成utf8mb4。那么问题就来了，当我们把一个需要4字节UTF-8编码才能表示的字符存入数据库的时候就会报错：ERROR 1366: Incorrect string value: ‘\xF0\x9D\x8C\x86‘ for column 。

如果认真阅读了上面的解释，那么这个报错也就不难看懂了。我们试图将一串Bytes插入到一列中，而这串Bytes的第一个字节是\xF0意味着这是一个四字节的UTF-8编码。但是当MySQL表和列字符集配置为UTF-8的时候是无法存储这样的字符的，所以报了错。

那么遇到这种情况我们如何解决呢？有两种方式：升级MySQL到5.6或更高版本，并且将表字符集切换至utf8mb4。第二种方法就是在把内容存入到数据库之前做一次过滤，将Emoji字符替换成一段特殊的文字编码，然后再存入数据库中。之后从数据库获取或者前端展示时再将这段特殊文字编码转换成Emoji显示。第二种方法我们假设用-*-1F601-*-来替代4字节的Emoji，那么具体实现python代码可以参见Stackoverflow上的回答。