关于Unicode

Posted 2020-11-02 Develon

http://www.unicode.org/faq/utf_bom.html

有关UTF或编码表单的一般问题

• Unicode是16位编码吗？
• Unicode文本可以以多种方式表示吗？
• 什么是UTF？
• 我在哪里可以获得关于编码表单的更多信息？
• 如何编写UTF转换器？
• 我需要支持哪些UTF？
• UTF之间有什么区别？
• 为什么有些UTF在其标签中包含BE或LE，如UTF-16LE？
• 是否有任何字节序列不是由UTF生成的？我应该如何解读它们？
• 是否有一个标准的方法来打包一个Unicode字符，以便它适合一个8位ASCII码流？
• 哪种方法最好？
• 哪种格式是最标准的？

UTF-8常见问题

• 什么是UTF-8的定义？
• 不管底层处理器是小端还是大端，UTF-8编码方案是否都是相同的？
• 无论底层系统使用ASCII还是EBCDIC编码，UTF-8编码方案是否都是相同的？
• 如何将UTF-16代理对（如<D800 DC00>）转换为UTF-8？作为一个4字节的序列还是两个单独的3字节序列？
• 如何将未配对的UTF-16代理转换为UTF-8？

UTF-16常见问题

• 什么是UTF-16？
• 什么是代理？
• 什么是从UTF-16转换为字符代码的算法？
• 有没有更简单的方法来做到这一点？
• 为什么有些人反对UTF-16？
• UTF-16是否会扩展到超过一百万个字符？
• 是否有任何16位值无效？
• 非字符呢？它们是无效的吗？
• 由于大多数补充字符不常见，这是否意味着我可以忽略它们？
• 我应该如何在我的代码中处理补充字符？
• UCS-2和UTF-16有什么区别？

UTF-32常见问题

• 什么是UTF-32？
• 我应该使用UTF-32（或UCS-4）在内存中存储Unicode字符串吗？
• 如何在我的API中使用UTF-32接口？
• 它不会导致问题具有UTF-16字符串API，而不是UTF-32字符API？
• 在API中专门使用字符串参数的规则是否有例外情况？
• 如何将UTF-16代理对（如<D800 DC00>）转换为UTF-32？作为一个或两个4字节的序列？
• 如何将未配对的UTF-16代理转换为UTF-32？

字节顺序标记（BOM）常见问题

• 什么是BOM？
• BOM在哪里有用？
• ‘endian‘是什么意思？
• 当使用BOM时，它是否只有16位Unicode文本？
• UTF-8数据流可以包含BOM字符（UTF-8格式）吗？如果是，它会影响字节顺序吗？
• 我应该如何处理文件中间的U + FEFF？
• 我正在使用在文本开始处有BOM的协议。我如何表示最初的ZWNBSP？
• 如何标记不将U + FEFF解释为BOM的数据？
• 为什么我不会总是使用需要BOM的协议？
• 我应该如何处理物料清单？