编码的由来

Posted 北伽

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了编码的由来相关的知识,希望对你有一定的参考价值。

字符编码的演变

ASCII码

一个字符用8个比特(bit)表示=1字节(byte),所以最多可以表示2^8-1=255个字符,英文占用了127位,剩下的供其它语种使用

 位数仍然很少,所以用几个有限的空位映射出一张自己规定的用于简体中文的GB2312和用于繁体中文的big5

显然ASCII码无法将世界上的各种文字和符号全部表示,所以,就需要新出一种可以代表所有字符和符号的编码,即:Unicode

Unicode(统一码、万国码、单一码)

是一种在计算机上使用的字符编码。Unicode 是为了解决传统的字符编码方案的局限而产生的,它为每种语言中的每个字符设定了统一并且唯一

二进制编码,规定虽有的字符和符号最少由 16 位来表示(2个字节),即:2 **16 = 65536,

为了节省占用资源,英文字符可只用1byte,解决Unicode都用2byte表示浪费资源的问题

Unicode是向下兼容的,包含了GBK、G2312等等,但与UTF-8是并行的,不互相兼容

UTF-8(可变长的字符编码)

是对Unicode编码的压缩和优化,他不再使用最少使用2个字节,而是将所有的字符和符号进行分类:

ASCII码中的内容用1个字节保存、欧洲的字符用2个字节保存,东亚的字符用3个字节保存

python2.x默认编码是ASCII码,想要使用中文就必须先声明:#! -*- utf-8 -*-或者#coding:utf-8

python3.x默认编码是Unicode码,所以不用声明

(注:为了正常运行和显示,有时还要考虑windows的默认编码)

以上是关于编码的由来的主要内容,如果未能解决你的问题,请参考以下文章

python学习-字符和编码

ISIN编码的基本定义

补充:字符编码ASCII ISO8859-1GB2312GBKUnicodeUTF-8

python 开发 -- 17字符编码

python 开发 -- 17字符编码

Unicode编码和utf-8编码的区别