Python基础(字符编码与文件处理)

Posted 2020-09-29

一、了解字符编码的知识储备

　1、计算机基础知识（三副图）

　　

2、文本编辑器存取文件的原理（notepad++,Pycharm,word)

　　打开编辑器就启动了一个进程，是在内存中运行的，所以在编辑器写的内容在没保存之前都是存放在内存中的，断电后数据就会丢失。因而需要保存到硬盘上，点击保存按钮，就从内存中把数据刷到硬盘上。

3、Python解释器执行py文件的与原理，例如python test.py

　　第一阶段：python解释器启动，此时就相当于启动了一个文本编辑器。

　　第二阶段：python解释器相当于文本编辑器，去打开test.py文件，从硬盘将test.py的文件内容读到内存中。

　　第三阶段：python解释器解释执行刚刚加载到内存中test.py的代码。（PS:在该阶段，即执行时，才会识别python的语法，执行文件内代码，执行到name=‘tracy‘，会开辟内存空间存放字符串‘tracy‘)

总结：python解释器与文本编辑器的异同

　　相同点：python解释器是执行文件内容的，因而python解释器具备都py文件的功能，这一点与文本编辑器一样

　　不同点：文本编辑器将文件内容读入内存后，是未来显示/编辑，而python解释器将文件读入内存后，是为了执行（识别python语法）

二、什么是字符编码

 

　　计算机要想工作必须通电，也就是说电驱使计算机干活，而电的特性，就是高低电平。（高低电平即二进制数1，低电平即二进制0），也就是说计算机只认识数字。

　　如何能让计算机读懂人类的字符？

　　字符----->（翻译过程）------>数字

　　这个过程实际就是一个字符如何对应一个特定数字的标准，这个标准称之为字符编码。

三、字符编码的发展史

　　阶段一：现代计算机起源于美国，最早诞生也是基于英文考虑的ASCII

　　ASCII:一个Bytes代表一个字符（英文字符/键盘上的所有其他字符），1Bytes=8bit,8bit可以表示0-2**8-1种变化，即可表示256个字符。

　　阶段二：为了满足中文，中国人定制了GBK

　　GBK：2Bytes代表一个字符

　　阶段三：日本人定制了Shift_JIS，韩国人定制了Euc-kr等等

　　小结：各国有各国的标准，就会有不可避免的冲突，结果就是，在多语言混合的文本中，显示出来就会有乱码。

　　于是产生了Unicode，同意用2B有特色代表一个字符，2**16-1=65535，可代表6万多个字符，因而兼容万国语言。

　　但是对于通篇都是英文的文本来说，这种编码方式无疑是多了一倍的存储空间。于是产生了utf-8，对英文字符只用1Bytes表示，对中文字符用3Bytes表示。

　　unicode特性：简单粗暴，所有字符都是2Bytes，优点是字符->数字的转换速度快，缺点是占用空间打。

　　utf-8特性：精准，对不同的字符用不同的长度表示，有点是节省空间，缺点是：字符-->数字的转换速度慢，因为每次都需要计算出字符需要多长的Bytes才能够准确表示。

　　内存中使用的编码是Unicode，用空间换时间。

　　硬盘中或者网络传输用utf-8,网络I/O延迟或者磁盘I/O延迟要远大于utf-8的转换延迟，而且I/O应该是尽可能地节省带宽，保证数据传输的稳定性。

四、字符编码的使用

　　文本编辑器转换图

　　Unicode--->encode----->utf-8

　　uft-8--------->decode----->Unicode

　　

 　　分析字符转换过程：

 　　文件从内存刷到硬盘的操作简称存文件

　　 文件从硬盘读到内存的操作简称读文件

 　　分析乱码：

　　1、存文件时就已经乱码的情况；

　　2、存文件时不乱码而读文件时乱码；

　　小结：　　

　　无论是何种编辑器，要防止文件出现乱码（请一定注意，存放一段代码的文件也仅仅只是一个普通文件而已，此处指的是文件没有执行前，我们打开文件时出现的乱码）

　　核心法则就是，文件以什么编码保存的，就以什么编码方式打开。

　　python2默认ASCII，python3默认utf-8,除非文件头部指定编码方式。

　　针对python3如下图;

　　

　　在浏览网页的时候，服务器会吧动态生成的Unicode内容转换为UTF-8再传输到浏览器

　　如果服务端encode的编码格式是utf-8,客户端内存中收到的也是uft-8编码的二进制。

 

　　在python3中也有两种字符串类型str和bytes

　　str是Unicode　

#coding:utf-8
s=‘林‘ #当程序执行时，无需加u，‘林‘也会被以unicode形式保存新的内存空间中,

#s可以直接encode成任意编码格式
s.encode(‘utf-8‘)
s.encode(‘gbk‘)

print(type(s)) #<class ‘str‘>

bytes是bytes

#coding:utf-8
s=‘林‘ #当程序执行时，无需加u，‘林‘也会被以unicode形式保存新的内存空间中,

#s可以直接encode成任意编码格式
s1=s.encode(‘utf-8‘)
s2=s.encode(‘gbk‘)

print(s) #林
print(s1) #b‘\\xe6\\x9e\\x97‘ 在python3中，是什么就打印什么
print(s2) #b‘\\xc1\\xd6‘ 同上

print(type(s)) #<class ‘str‘>
print(type(s1)) #<class ‘bytes‘>
print(type(s2)) #<class ‘bytes‘>