Python之IO编程——文件读写StringIO/BytesIO操作文件和目录序列化
Posted sundahua
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python之IO编程——文件读写StringIO/BytesIO操作文件和目录序列化相关的知识,希望对你有一定的参考价值。
IO编程
IO在计算机中指Input/Output,也就是输入和输出。由于程序和运行时数据是在内存中驻留,由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘、网络等,就需要IO接口。从磁盘读取文件到内存,就只有Input操作,反过来,把数据写到磁盘文件里,就只是一个Output操作。
由于CPU和内存的速度远远高于外设的速度,所以,在IO编程中,就存在速度严重不匹配的问题。举个例子来说,比如要把100M的数据写入磁盘,CPU输出100M的数据只需要0.01秒,可是磁盘要接收这100M数据可能需要10秒,怎么办呢?有两种办法:
第一种是CPU等着,也就是程序暂停执行后续代码,等100M的数据在10秒后写入磁盘,再接着往下执行,这种模式称为同步IO;
另一种方法是CPU不等待,只是告诉磁盘,“您老慢慢写,不着急,我接着干别的事去了”,于是,后续代码可以立刻接着执行,这种模式称为异步IO。
同步和异步的区别就在于是否等待IO执行的结果。异步IO来编写程序性能会远远高于同步IO,但是异步IO的缺点是编程模型复杂
一、文件读写
读写文件是最常见的IO操作。Python内置了读写文件的函数,用法和C是兼容的。读写文件就是请求操作系统打开一个文件对象(通常称为文件描述符),然后,通过操作系统提供的接口从这个文件对象中读取数据(读文件),或者把数据写入这个文件对象(写文件)。
1.从文件中读取数据
1.1读取整个文件
- 1
- 2
- 3
- 1
- 2
函数open() 接受一个参数:要打开的文件的名称。Python在当前执行的文件所在的目录中查找指定的文件,函数open() 返回一个表示文件的对象。在这里,open(‘pi_digits.txt‘) 返回一个表示文件pi_digits.txt 的对象;Python将这个对象存储在我们将在后面使用的变量中。
关键字with 在不再需要访问文件后将其关闭。
PS:在这个程序中,注意到我们调用了open() ,但没有调用close() ;调用open() 和close() 来打开和关闭文件,如果程序存在bug,导致close() 语句未执行,文件将不会关闭。未妥善地关闭文件可能会导致数据丢失或受损。如果在程序中过早地调用close() ,需要使用文件时它已关闭(无法访问),会导致更多的错误。通过使用前面所示的结构,可让Python去确定:你只管打开文件,并在需要时使用它,Python自会在合适的时候自动将其关闭。
函数read() 读取这个文件的全部内容,并将其作为一个长长的字符串存储在变量contents中。这样,通过打印contents 的值,就可将这个文本文件的全部内容显示出来。相比于原始文件,该输出不同的地方是末尾多了一个空行。read() 到达文件末尾时返回一个空字符串,而将这个空字符串显示出来时就是一个空行。要删除多出来的空行,可在print 语句中使用rstrip() :
- 1
- 2
调用read()
会一次性读取文件的全部内容,如果文件有10G,内存就爆了,所以,要保险起见,可以反复调用read(size)
方法,每次最多读取size个字节的内容。另外,调用readline()
可以每次读取一行内容,调用readlines()
一次读取所有内容并按行返回list
。因此,要根据需要决定怎么调用。
如果文件很小,read()
一次性读取最方便;如果不能确定文件大小,反复调用read(size)
比较保险;如果是配置文件,调用readlines()
最方便:
- 1
file-like Object:像open()
函数返回的这种有个read()
方法的对象,在Python中统称为file-like Object。除了file外,还可以是内存的字节流,网络流,自定义流等等。file-like Object不要求从特定类继承,只要写个read()
方法就行。StringIO
就是在内存中创建的file-like Object,常用作临时缓冲。
二进制文件:前面讲的默认都是读取文本文件,并且是UTF-8编码的文本文件。要读取二进制文件,比如图片、视频等等,用‘rb‘
模式打开文件即可:
- 1
- 2
字符编码:要读取非UTF-8编码的文本文件,需要给open()
函数传入encoding
参数,例如,读取GBK编码的文件:
- 1
- 2
遇到有些编码不规范的文件,你可能会遇到UnicodeDecodeError
,因为在文本文件中可能夹杂了一些非法编码的字符。遇到这种情况,open()
函数还接收一个errors
参数,表示如果遇到编码错误后如何处理。最简单的方式是直接忽略:
1.2文件路径
在Windows系统中,在文件路径中使用反斜杠( )而不是斜杠(/ ):
在相对文件路径行不通时,可使用绝对文件路径,绝对路径通常比相对路径更长,因此将其存储在一个变量中,再将该变量传递给open() 会有所帮助。在Linux和OS X中,绝对路径类似于下面这样:
- 1
在Windows系统中,它们类似于下面这样:
- 1
通过使用绝对路径,可读取系统任何地方的文件。就目前而言,最简单的做法是,要么将数据文件存储在程序文件所在的目录,要么将其存储在程序文件所在目录下的一个文件夹(如text_files)中。
1.3逐行读取
- 1
- 2
- 3
- 4
在这个文件中,每行的末尾都有一个看不见的换行符,而print 语句也会加上一个换行符,因此每行末尾都有两个换行符:一个来自文件,另一个来自print 语句。
- 1
- 2
- 3
- 4
要消除这些多余的空白行,可在print 语句中使用rstrip() :
- 1
- 2
- 3
- 4
1.4创建一个包含文件各行内容的列表
- 1
- 2
- 3
- 4
- 5
1.5使用文件内容
将文件读取到内存中后,就可以以任何方式使用这些数据了。下面以简单的方式使用圆周率的值。首先,我们将创建一个字符串,它包含文件中存储的所有数字,且没有任何空格:- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
读取文本文件时,Python将其中的所有文本都解读为字符串。如果你读取的是数字,并要将其作为数值使用,就必须使用函数int() 将其转换为整数,或使用函数float() 将其转换为浮点数。
1.6包含一百万位的大型文件
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 1
- 2
- 3
- 4
2.写入文件
保存数据的最简单的方式之一是将其写入到文件中2.1写入空文件
要将文本写入文件,你在调用open() 时需要提供另一个实参,告诉Python你要写入打开的文件。传入标识符‘w‘
或者‘wb‘
表示写文本文件或写二进制文件:
- 1
- 2
- 3
- 4
第一个实参也是要打开的文件的名称;第二个实参(‘w‘ )告诉Python,我们要以写入模式 打开这个文件。打开文件时,可指定读取模式 (‘r‘ )、写入模式 (‘w‘ )、附加模式 (‘a‘ )或让你能够读取和写入文件的模式(‘r+‘ )。如果省略了模式实参,Python将以默认的只读模式打开文件。
2.2附加到文件
- 1
- 2
- 3
- 4
二、StringIO和BytesIO
StringIO
很多时候,数据读写不一定是文件,也可以在内存中读写。StringIO顾名思义就是在内存中读写str。要把str写入StringIO,我们需要先创建一个StringIO,然后,像文件一样写入即可:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
getvalue()
方法用于获得写入后的str。
要读取StringIO,可以用一个str初始化StringIO,然后,像读文件一样读取:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
BytesIO
StringIO操作的只能是str,如果要操作二进制数据,就需要使用BytesIO。BytesIO实现了在内存中读写bytes,我们创建一个BytesIO,然后写入一些bytes: 写入的不是str,而是经过UTF-8编码的bytes。
- 1
- 2
- 3
- 4
- 5
- 1
- 2
- 3
小结:StringIO和BytesIO是在内存中操作str和bytes的方法,使得和读写文件具有一致的接口。
三、操作文件和目录
操作文件和目录的函数一部分放在os
模块中,一部分放在os.path
模块中,这一点要注意一下。查看、创建和删除目录可以这么调用:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
os.path.join()
函数,这样可以正确处理不同操作系统的路径分隔符。在Linux/Unix/Mac下,os.path.join()
返回这样的字符串:
Windows下会返回这样的字符串:
同样的道理,要拆分路径时,也不要直接去拆字符串,而要通过os.path.split()
函数,这样可以把一个路径拆分为两部分,后一部分总是最后级别的目录或文件名:
- 1
os.path.splitext()
可以直接让你得到文件扩展名,很多时候非常方便:
- 1
这些合并、拆分路径的函数并不要求目录和文件要真实存在,它们只对字符串进行操作。文件操作使用下面的函数。假定当前目录下有一个test.txt
文件:
- 1
- 2
- 3
复制文件的函数在os
模块中不存在!原因是复制文件并非由操作系统提供的系统调用。但是shutil
模块提供了copyfile()
的函数,你还可以在shutil
模块中找到很多实用函数,它们可以看做是os
模块的补充。
- 1
.py
文件,也只需一行代码:
- 1
变量从内存中变成可存储或传输的过程称之为序列化,在Python中叫pickling,序列化之后,就可以把序列化后的内容写入磁盘,或者通过网络传输到别的机器上。反过来,把变量内容从序列化的对象重新读到内存里称之为反序列化,即unpickling。Python提供了pickle
模块来实现序列化。
把一个对象序列化并写入文件:
- 1
- 2
- 3
- 1
- 2
bytes
,然后用pickle.loads()
方法反序列化出对象
- 1
- 2
- 3
- 4
1、JSON
如果要在不同的编程语言之间传递对象,就必须把对象序列化为标准格式,比如XML,但更好的方法是序列化为JSON,因为JSON表示出来就是一个字符串,可以被所有语言读取,也可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式,并且比XML更快,而且可以直接在Web页面中读取,非常方便。 Python内置的json
模块提供了非常完善的Python对象到JSON格式的转换
JSON表示的对象就是标准的JavaScript语言的对象,JSON和Python内置的数据类型对应如下:
JSON | Python |
{} | dict |
[] | list |
"string" | str |
1234.56 | int或float |
true/false | True/False |
null | None |
1.1使用模块json 来存储数据
1.1.1使用json.dump() 和json.load()
json
模块提供了非常完善的Python对象到JSON格式的转换。我们先看看如何把Python对象变成一个JSON,
- 1
- 2
- 3
- 4
- 1
- 2
- 3
- 4
json.dumps()
提供了一个ensure_ascii
参数
- 1
- 2
- 3
- 1
- 2
- 1
- 2
- 3
- 4
- 5
- 6
1.2保存和读取用户生成的数据
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 1
1.3重构
要重构1.2代码,可将其大部分逻辑放到一个或多个函数中。1.2代码的重点是问候用户,因此我们将其所有代码都放到一个名为greet_user() 的函数中:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
下面来重构greet_user() ,让它不执行这么多任务。为此,我们首先将获取存储的用户名的代码移到另一个函数中:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
我们还需将greet_user() 中的另一个代码块提取出来:将没有存储用户名时提示用户输入的代码放在一个独立的函数中:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
以上是关于Python之IO编程——文件读写StringIO/BytesIO操作文件和目录序列化的主要内容,如果未能解决你的问题,请参考以下文章
python模块之StringIO/cStringIO(内存文件)