2019-07-05 编码格式和文件操作

Posted 2022-03-18 wangcuican

一、字符编码

　　字符编码针对的是文字，字符编码只跟文本有关，这里不需要考虑视频、音频等其他文件。

　　人在操作计算机的时候输入的是人能看懂的字符，但是计算机只能识别010101这样的二进制数据，那么就需要用字符编码表来处理字符与数字的对应关系。

　　最早的是ASCII表，用八位二进制表示一个英文字符，但是它只能表示英文和一些符号，不适合中文。所以中国自己出了一个GBK编码格式，用2Bytes表示一个中文字符。基于上面的推导，每个国家的文字都不一样，那么用的编码格式也不一样，如果要相互使用就很方便。所以出了一个万国码unicode,统一用2Bytes表示所有字符。

　　unicode有两个特点：1.因为所有字符都是用2Bytes表示字符，所以会浪费很多存储空间。2.io次数增加，程序运行效率降低（这个是致命的）

　　后面针对这两个特点进行修改：当内存中的unicode编码格式数据存在硬盘的时候，会按照utf-8编码。将unicode的英文字符由原来的2Bytes变成1Bytes。将unicode中文字符由原来的2Bytes变成3Bytes。

　　现在的计算机：

　　　　内存是unicode

　　　　硬盘是utf-8

　　需要掌握的：

　　　　unicode的两个特点：

　　　　　　1.在用户输入的时候，无论输入什么字符都能够兼容万国字符

　　　　　　2.其他国家编码的数据由硬盘读到内存的时候unicode与其他国家的编码都有对应的关系。

　　　　数据由内存存到硬盘：

　　　　　　1.内存中的unicode格式二进制数据      >>>通过编码(encode)>>>      硬盘中utf-8格式的二进制数据

　　　　　　2.硬盘中utf-8格式的二进制数据     >>>通过解码(decode)>>>      内存中unicode格式的二进制数据

　　　　我们要清楚文件为什么会乱码：因为文件存的格式和读取的格式不一样(******)

 

　　这里有个python2和python3的不同点：

　　python2:将py文件按照文本文件读入解释器默认使用ASCII码

　　python3:将py文件按照文本文件读入解释器中默认使用utf-8

文件头：# coding:utf-8   在py文件开头写这个文件头，编码格式会自动转为这个

 

补充：1.pycharm终端使用的是utf-8格式

　　　2.windows终端采用的是gbk

字符编码总结：

　　我们用代码来举例：

　　　　x = ‘上‘

　　　　res1 = x.encode(‘utf-8‘)    #将unicode编码变成可以存储和运输的utf-8的二进制数据

　　　　res2 = res1.decode(‘utf-8‘)  #将硬盘中utf-8格式的二进制数据解码成unicode格式的二进制数据

 

二、文件操作

　　　　文件处理包括三个步骤：  打开（open） /读写（read,write）/  关闭（close）　

# 通过python代码操作文件
# r取消转义
 f = open(r‘D:\Python项目\day07\a.txt‘,encoding=‘utf-8‘)  # 向操作系统发送请求  打开某个文件
# 应用程序要想操作计算机硬件 必须通过操作系统来简介的操作
 print(f)  # f是文件对象
 print(f.read())  # windows操作系统默认的编码是gbk
 f.read()  # 向操作系统发请求 读取文件内容
 f.close()  # 告诉操作系统 关闭打开的文件
 

　　　　用open打开的文件一定要记得写close关闭

　　　　上面的这种操作方法比较复杂，所以出了文件上下文操作

　　　　with open  的方法，这个用法不用写close,还可以同时打开几个文件。

with open(r‘D:\Python项目\day07\a.txt‘,encoding=‘utf-8‘) as f ,        open(r‘D:\Python项目\day07\b.txt‘,encoding=‘utf-8‘) as f1:  # f仅仅是一个变量名 你把它看成是一个遥控器
    print(f)
    print(f.read())
    print(f1)
    print(f1.read())

　　　　文件打开模式：

　　　　　　r　　只读模式     默认的模式

　　　　　　w　　只写模式

　　　　　　a　　追加写模式

　　　　操作文件单位的方式：

　　　　　　t    文本文件    默认的,可以不用写，在操作文本文件的时候，一定要指定encoding参数，如果不添加encoding参数默认是操作系统的默认编码（gbk）

　　　　　　b   二进制数据文件（比如视频，音频文件）     如果用了这个就不要写encoding参数

　　　　r  　只读模式

　　　　　　r模式在打开文件的时候，如果文件不存在直接报错

　　　　　　有三种读取方式：read,readline,readlines

　　　　　　　　read:一次性将文件全部读取，返回的数据是字符串格式，缺点是如果文件太大，会占满内存

　　　　　　　　readline:读取文件内容的一行，返回的数据也是字符串格式

　　　　　　　　readlines:每一行每一行的读，每一行当成一个字符串，所有数据放在一个大列表当中

 
#读取文本文件用rt
with open(r‘D:\Python项目\day07\a.txt‘,mode=‘rt‘,encoding=‘utf-8‘) as f:
     print(f.readable())  # 是否可读
     print(f.writable())  # 是否可写
     print(f.read())  # 一次性将文件内容全部读出
　　　for i in f:    #f可以被for循环  每for循环一次，就读取一行内容
　　　　　　print(i)   #这个方法可以解决一次性读取文件占用内存过大的问题


#读取二进制文件用rb
 with open(r‘D:\Python项目\day07\1.jpeg‘,mode=‘rb‘) as f:
     print(f.readable())  # 是否可读
     print(f.writable())  # 是否可写
     print(f.read())  # 一次性将文件内容全部读出
     print(f.read())  # 读完一次之后 文件的光标已经在文件末尾了，再读就没有内容了可读
     print(f.readlines())  # 返回的是一个列表  列表中的一个个元素对应的就是文件的一行行内容

　　　　w　　只写模式（这个模式要慎用，如果文件本身有内容的话，写入的时候会被清空）

　　　　　　　　1.当文件不存在的时候，会自动创建文件

　　　　　　　　2.当文件存在的时候，先清空文件内容，然后再写入

　　　　　　　　有三种写入方式：write/writeline/writelines

 with open(r‘xxx.txt‘,mode=‘w‘,encoding=‘utf-8‘) as f:
     print(f.readable())  # 是否可读
     print(f.writable())  # 是否可写
     f.write(‘不不不，你没有翻~\n‘)
     f.write(‘不不不，你没有翻~\n‘)
     f.write(‘不不不，你没有翻~\n‘)
     f.write(‘不不不，你没有翻~\r‘)
     f.write(‘不不不，你没有翻~‘)


     l = [‘不sdffs，sdfs有翻~\n‘,‘不sdfsdf不，你sdfsf翻~\n‘,‘不sfad不，你没sa翻~\n‘]
     f.writelines(l)
     # 上下等价
     for i in l:
         f.write(i)

　　　　a      追加模式

　　　　　　1.在文件不存在的情况下，自动创建文件

　　　　　　2.当文件存在的情况下，不清空文件内容，文件光标会移动到文件的最后，在原有的基础上追加

　　　　a模式不可读，只能写

with open(r‘yyy.txt‘,mode=‘a‘,encoding=‘utf-8‘) as f:
    print(f.readable())  # 是否可读   False
    print(f.writable())  # 是否可写   True
    f.write(‘我是小尾巴\n‘)

 

具体的详细内容可以参考：http://note.youdao.com/noteshare?id=17303322fcbc09a85d9bd5195dec25ae&sub=F9D47851E02B4CB7A341119637EC6BAE