关于JS中字符串的编码

Posted 2023-03-30

Unicode 作为字符编码的标准，它用 码位 （code point）来索引某个字符（全球统一标识符）， 字符编码 用来标识码位，一个字符编码视为一个 编码单元 。在 javascript 里，字符串基于16位的字符编码（UTF-16，Unicode 的其中一种）来构建一个编码单元（以十或十六进制表示）。
前65535个字符编码称之为 基本多文种平面字符 （BMP， Basic multilingual plane ），一个编码标识一个码位；当超出 BMP 的范围时就会用两个编码（代理对）来标识一个码位，称之为 辅助平面字符 。大部分字符都处在 BMP 范围内，另有一部分字符处在辅助平面内，这导致一些问题，比如“𠮷”这个汉字：

由于 String.length 是用编码单元的数量来计算长度，所以当遇到如“𠮷”这样有两个编码单元的冷僻字时，字符个数的计算就会出现偏差。在 ES6 标准中，正则表达式的修饰符 /u 会将字符匹配模式从编码单元模式切换到字符模式，于是可以利用正则匹配来计算字符个数：

需要注意的是当 .match() 方法没有匹配到内容时，会返回 null，并且这种方法处理长字符串的开销较大。

.charCodeAt() 和 .codePointAt() 方法都会获得字符编码的十进制值，不同的是 .codePointAt() 方法可以获得以 代理对 来标识的码位十进制值，也是最终指向该字符的完整字符编码的十进制值。

Unicode 序列有多种规则，在 ES6 中用 .normalize() 方法来统一字符串的序列（“NFC”、“NFD”、“NFKC”、“NFKD”），这影响到做诸如比较运算等操作的结果，比如下面这个排序操作：

REFS:
《深入理解ES6》2.字符串和正则表达式
Unicode等价性

参考技术A js中字符串的编码会涉及UTF-16： charCodeAt:返回指定索引位置的字符的 Unicode 编码(0-65535之间的整数)，等同UTF-16编码
js中在线编码可以参考 config.net.cn/tools/UTF16.html