Python基础(字符编码与文件处理)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python基础(字符编码与文件处理)相关的知识,希望对你有一定的参考价值。

一、了解字符编码的知识储备

 1、计算机基础知识(三副图)

  技术分享

2、文本编辑器存取文件的原理(notepad++,Pycharm,word)

  打开编辑器就启动了一个进程,是在内存中运行的,所以在编辑器写的内容在没保存之前都是存放在内存中的,断电后数据就会丢失。因而需要保存到硬盘上,点击保存按钮,就从内存中把数据刷到硬盘上。

3、Python解释器执行py文件的与原理,例如python test.py

  第一阶段:python解释器启动,此时就相当于启动了一个文本编辑器。

  第二阶段:python解释器相当于文本编辑器,去打开test.py文件,从硬盘将test.py的文件内容读到内存中。

  第三阶段:python解释器解释执行刚刚加载到内存中test.py的代码。(PS:在该阶段,即执行时,才会识别python的语法,执行文件内代码,执行到name=‘tracy‘,会开辟内存空间存放字符串‘tracy‘)

总结:python解释器与文本编辑器的异同

  相同点:python解释器是执行文件内容的,因而python解释器具备都py文件的功能,这一点与文本编辑器一样

  不同点:文本编辑器将文件内容读入内存后,是未来显示/编辑,而python解释器将文件读入内存后,是为了执行(识别python语法)

二、什么是字符编码

 

  计算机要想工作必须通电,也就是说电驱使计算机干活,而电的特性,就是高低电平。(高低电平即二进制数1,低电平即二进制0),也就是说计算机只认识数字。

  如何能让计算机读懂人类的字符?

  字符----->(翻译过程)------>数字

  这个过程实际就是一个字符如何对应一个特定数字的标准,这个标准称之为字符编码。

三、字符编码的发展史

  阶段一:现代计算机起源于美国,最早诞生也是基于英文考虑的ASCII

  ASCII:一个Bytes代表一个字符(英文字符/键盘上的所有其他字符),1Bytes=8bit,8bit可以表示0-2**8-1种变化,即可表示256个字符。

  阶段二:为了满足中文,中国人定制了GBK

  GBK:2Bytes代表一个字符

  阶段三:日本人定制了Shift_JIS,韩国人定制了Euc-kr等等

  小结:各国有各国的标准,就会有不可避免的冲突,结果就是,在多语言混合的文本中,显示出来就会有乱码。

  于是产生了Unicode,同意用2B有特色代表一个字符,2**16-1=65535,可代表6万多个字符,因而兼容万国语言。

  但是对于通篇都是英文的文本来说,这种编码方式无疑是多了一倍的存储空间。于是产生了utf-8,对英文字符只用1Bytes表示,对中文字符用3Bytes表示。

  unicode特性:简单粗暴,所有字符都是2Bytes,优点是字符->数字的转换速度快,缺点是占用空间打。

  utf-8特性:精准,对不同的字符用不同的长度表示,有点是节省空间,缺点是:字符-->数字的转换速度慢,因为每次都需要计算出字符需要多长的Bytes才能够准确表示。

  内存中使用的编码是Unicode,用空间换时间。

  硬盘中或者网络传输用utf-8,网络I/O延迟或者磁盘I/O延迟要远大于utf-8的转换延迟,而且I/O应该是尽可能地节省带宽,保证数据传输的稳定性。

四、字符编码的使用

  文本编辑器转换图

  Unicode--->encode----->utf-8

  uft-8--------->decode----->Unicode

  技术分享

   分析字符转换过程:

   文件从内存刷到硬盘的操作简称存文件

   文件从硬盘读到内存的操作简称读文件

   分析乱码:

  1、存文件时就已经乱码的情况;

  2、存文件时不乱码而读文件时乱码;

  小结:  

  无论是何种编辑器,要防止文件出现乱码(请一定注意,存放一段代码的文件也仅仅只是一个普通文件而已,此处指的是文件没有执行前,我们打开文件时出现的乱码)

  核心法则就是,文件以什么编码保存的,就以什么编码方式打开。

  python2默认ASCII,python3默认utf-8,除非文件头部指定编码方式。

  针对python3如下图;

  技术分享

  在浏览网页的时候,服务器会吧动态生成的Unicode内容转换为UTF-8再传输到浏览器

技术分享

  如果服务端encode的编码格式是utf-8,客户端内存中收到的也是uft-8编码的二进制。

 

  在python3中也有两种字符串类型str和bytes

  str是Unicode 

#coding:utf-8
s= #当程序执行时,无需加u,‘林‘也会被以unicode形式保存新的内存空间中, #s可以直接encode成任意编码格式 s.encode(utf-8) s.encode(gbk) print(type(s)) #<class ‘str‘>

bytes是bytes

#coding:utf-8
s= #当程序执行时,无需加u,‘林‘也会被以unicode形式保存新的内存空间中,

#s可以直接encode成任意编码格式
s1=s.encode(utf-8)
s2=s.encode(gbk)

print(s) #
print(s1) #b‘\\xe6\\x9e\\x97‘ 在python3中,是什么就打印什么
print(s2) #b‘\\xc1\\xd6‘ 同上

print(type(s)) #<class ‘str‘>
print(type(s1)) #<class ‘bytes‘>
print(type(s2)) #<class ‘bytes‘>

 




以上是关于Python基础(字符编码与文件处理)的主要内容,如果未能解决你的问题,请参考以下文章

Python基础知识之字符编码与转码

第六篇.字符编码

Python基础day-5[字符编码,文件处理,函数]

python 基础之字符编码和文件处理

Python自动化开发课堂笔记Day03 - Python基础(字符编码使用,文件处理,函数)

python基础知识(day3)