字节序的问题，为啥GBK和UTF-8没有字节序问题，而UTF-16就有？

Posted 2023-04-19

GBK 也是双字节 UTF-8字母的时候是一个字节这个就不说了，但是汉字时候是变2个字节，那utf-16也是两个字节，为什么大家都是双字节只有utf-16有字节序的问题呢？ UTF-8以字节为编码单元，没有字节序的问题。UTF-16以两个字节为编码单元，在解释一个UTF-16文本前，首先要弄清楚每个编码单元的字节序。例如收到一个“奎”的Unicode编码是594E，“乙”的Unicode编码是4E59。如果我们收到UTF-16字节流“594E”，那么这是“奎”还是“乙”？ 但是我看不明白UTF8的解释，什么叫UTF8以字节为编码单元，没有字节序的问题，这句话说的也太含糊了，看不懂。UTF8不是也能变长到双字节吗，既然也是双字节怎么会没字节序问题呢？ 比如GBk吧 也是双字节 ，保”字的机内码就是B1A3，那万一也颠倒顺序咋办？比如字节序到底是按A3B1呢 还是按B1A3啊 这不和utf16一样有字节序吗？ 还是说GBK在开始时候固定安排好了顺序 所以没有字节序，而utf16当初没有安排所以造成会有字节序的问题？？？

参考技术A 以字节为单位就是说它是一个字节一个字节来的，utf16是以一个字一个字来的。学计算机基础的时候应该有说过字节byte、字word、双字double
word（dword）之间的关系。一个字节一个字节来就没这个问题，一个字一个字来就要考虑这个字是哪个字节在前。
utf8的标准说了前面的字节是怎么样后面的字节是怎么样，gbk同理。但是utf16是“字”怎么样，这个不同。编码单元是编码单元，但是没人说一个字就是一个单元，……只是这个单元只有一个字节，不存在哪个字节在前的问题
另：utf8下汉字好像基本都是3字节吧…… 参考技术B 如果一个字符使用utf-8表示，就需要将这个字符的Unicode码，编码成字节数组，这里要注意“字节”“数组”这两个概念，所以对于字节数组写入内存时，只需要按照数组的顺序，一个一个字节写入，不存在高位和低位的问题。
所以，一个汉字，在任何类型的CPU中生成的utf-8序列是一样的。
这也是我们常说的，UTF-8是单字节编码的，不用考虑字节序问题。
GBK也同理，需要参照区位表，将字符转化为字节数组，也属于单字节编码，不需要考虑字节序问题。 参考技术C utf-8是变长的，英文字母都是1字节，汉字都是3字节~~~单种编程语言不需要考虑字节序的问题，怎么进怎么出，无所谓的。只有两种字节序不同的语言之间交互才需要考虑~~
你分可真多哈~~ 参考技术D 这个是你步骤错了，应该是gbk直接转为utf-8
，乱码是你转换失误

c# 主机和网络字节序的转换 关于网络字节序和主机字节序的转换

最近使用C#进行网络开发，需要处理ISO8583报文，由于其中有些域是数值型的，于是在传输的时候涉及到了字节序的转换。

字节顺序是指占内存多于一个字节类型的数据在内存中的存放顺序，通常有两种字节顺序，根据他们所处的位置我们分别称为主机节序和网络字节序。

通常我们认为网络字节序为标准顺序，封包的时候，将主机字节序转换为网络字节序，拆包的时候要将网络字节序转换为主机字节序。

原以为还要自己写函数，其实网络库已经提供了。

主机到网络：short/int/long IPAddress.HostToNetworkOrder(short/int/long)

网络到主机：short/int/long IPAddress.NetworkToHostOrder(short/int/long) 

主机字节序指低字节数据存放在内存低地址处，高字节数据存放在内存高地址处，如：

int x=1;    //此时x为主机字节序：[1][0][0][0] 低位到高位

int y=65536 //此时y为主机字节序：[0][0][1][0] 低位到高位

我们通过主机到网络字节序的转换函数分别对x和y进行转换得到他们对应的网络字节序值，

网络节序是高字节数据存放在低地址处，低字节数据存放在高地址处，如：

int m=IPAddress.HostToNetworkOrder(x);

//此时m为主机字节序：[0][0][0][1] 高位到低位

int n=IPAddress.HostToNetworkOrder(y);

//此时n为主机字节序：[0][1][0][0] 高位到低位 

经过转换以后，我们就可以通过

byte[]btValue=BitConverter.GetBytes(m);

得到一个长度为4的byte数组，然后将这个数组设置到报文的相应位置发送出去即可。

同样，收到报文后，可以将报文按域拆分，得到btValue，使用

int m=BitConverter.ToInt32(btValue,0);//从btValue的第0位开始转换

得到该域的值，此时还不能直接使用，应该再用网络到主机字节序的转换函数进行转换：

int x=IPAddress.NetworkToHostOrder(m);

这时得到的x才是报文中的实际值。

ps:网络字节序与主机字节序

不同的CPU有不同的字节序类型 这些字节序是指整数在内存中保存的顺序 这个叫做主机序
最常见的有两种
1． Little endian：将低序字节存储在起始地址
2． Big endian：将高序字节存储在起始地址

LE little-endian
最符合人的思维的字节序
地址低位存储值的低位
地址高位存储值的高位
怎么讲是最符合人的思维的字节序，是因为从人的第一观感来说
低位值小，就应该放在内存地址小的地方，也即内存地址低位
反之，高位值就应该放在内存地址大的地方，也即内存地址高位

BE big-endian
最直观的字节序
地址低位存储值的高位
地址高位存储值的低位
为什么说直观，不要考虑对应关系
只需要把内存地址从左到右按照由低到高的顺序写出
把值按照通常的高位到低位的顺序写出
两者对照，一个字节一个字节的填充进去

例子：在内存中双字0x01020304(DWORD)的存储方式

内存地址
4000 4001 4002 4003
LE 04 03 02 01
BE 01 02 03 04

例子：如果我们将0x1234abcd写入到以0x0000开始的内存中，则结果为
      big-endian   little-endian
0x0000   0x12       0xcd
0x0001   0x23       0xab
0x0002   0xab       0x34
0x0003   0xcd       0x12
x86系列CPU都是little-endian的字节序.

网络字节顺序是TCP/IP中规定好的一种数据表示格式，它与具体的CPU类型、操作系统等无关，从而可以保证数据在不同主机之间传输时能够被正确解释。网络字节顺序采用big endian排序方式。

为了进行转换 bsd socket提供了转换的函数 有下面四个
htons 把unsigned short类型从主机序转换到网络序
htonl 把unsigned long类型从主机序转换到网络序
ntohs 把unsigned short类型从网络序转换到主机序
ntohl 把unsigned long类型从网络序转换到主机序

在使用little endian的系统中 这些函数会把字节序进行转换
在使用big endian类型的系统中 这些函数会定义成空宏

同样 在网络程序开发时 或是跨平台开发时 也应该注意保证只用一种字节序 不然两方的解释不一样就会产生bug.

注：
1、网络与主机字节转换函数:htons ntohs htonl ntohl (s 就是short l是long h是host n是network)
2、不同的CPU上运行不同的操作系统，字节序也是不同的，参见下表。
处理器     操作系统     字节排序
Alpha     全部     Little endian
HP-PA     NT     Little endian
HP-PA     UNIX     Big endian
Intelx86     全部     Little endian <-----x86系统是小端字节序系统
Motorola680x()     全部     Big endian
MIPS     NT     Little endian
MIPS     UNIX     Big endian
PowerPC     NT     Little endian
PowerPC     非NT     Big endian   <-----PPC系统是大端字节序系统
RS/6000     UNIX     Big endian
SPARC     UNIX     Big endian
IXP1200 ARM核心     全部     Little endian