IO在计算机中指Input/Output,也就是输入和输出。由于程序和运行时数据是在内存中驻留,由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘、网络等,就需要IO接口。
只要进行数据交换,网络传输等行为都会产生io操作。
同步IO:CPU等着,也就是程序暂停执行后续代码,等100M的数据在10秒后写入磁盘,再接着往下执行。
异步IO:CPU不等待,只是告诉磁盘,“您老慢慢写,不着急,我接着干别的事去了”,于是,后续代码可以立刻接着执行。
同步和异步的区别就在于是否等待IO执行的结果。
文件读写:
写文件是最常见的IO操作。Python内置了读写文件的函数,用法和C是兼容的。
读写文件前,我们先必须了解一下,在磁盘上读写文件的功能都是由操作系统提供的,现代操作系统不允许普通的程序直接操作磁盘,所以,读写文件就是请求操作系统打开一个文件对象(通常称为文件描述符),
然后,通过操作系统提供的接口从这个文件对象中读取数据(读文件),或者把数据写入这个文件对象(写文件)。
读文件
要以读文件的模式打开一个文件对象,使用Python内置的open()
函数,传入文件名和标示符:
如果文件打开成功,接下来,调用read()
方法可以一次读取文件的全部内容,Python把内容读到内存,用一个str
对象表示:
最后一步是调用close()
方法关闭文件。文件使用完毕后必须关闭,因为文件对象会占用操作系统的资源,并且操作系统同一时间能打开的文件数量也是有限的:
由于文件读写时都有可能产生IOError
,一旦出错,后面的f.close()
就不会调用。所以,为了保证无论是否出错都能正确地关闭文件,我们可以使用try ... finally
来实现:
try: f = open(‘C://1.txt‘, ‘r‘) print f.read() finally: if f: f.close()
Python引入了with
语句来自动帮我们调用close()
方法:
with open(‘c://1.txt‘, ‘r‘) as f: print f.read()
这和前面的try ... finally
是一样的,但是代码更佳简洁,并且不必调用f.close()
方法。
调用read()
会一次性读取文件的全部内容,如果文件有10G,内存就爆了,所以,要保险起见,可以反复调用read(size)
方法,每次最多读取size个字节的内容。另外,调用readline()
可以每次读取一行内容,调用readlines()
一次读取所有内容并按行返回list
。因此,要根据需要决定怎么调用。
如果文件很小,read()
一次性读取最方便;如果不能确定文件大小,反复调用read(size)
比较保险;如果是配置文件,调用readlines()
最方便:
for line in f.readlines(): print(line.strip()) # 把末尾的‘\n‘删掉
字符编码
要读取非ASCII编码的文本文件,就必须以二进制模式打开,再解码。比如GBK编码的文件
>>> f = open(‘/Users/michael/gbk.txt‘, ‘rb‘) >>> u = f.read().decode(‘gbk‘) >>> u u‘\u6d4b\u8bd5‘ >>> print u 测试
写文件
写文件和读文件是一样的,唯一区别是调用open()
函数时,传入标识符‘w‘
或者‘wb‘
表示写文本文件或写二进制文件:
with open(‘/Users/michael/test.txt‘, ‘w‘) as f: f.write(‘Hello, world!‘)
文件常见的读写模式
w 以写方式打开,
W 文件若存在,首先要清空,然后(重新)创建
a 以追加模式打开 (从 EOF 开始, 必要时创建新文件)
r+ 以读写模式打开
w+ 以读写模式打开 (参见 w )
a+ 以读写模式打开 (参见 a )
rb 以二进制读模式打开
wb 以二进制写模式打开 (参见 w )
ab 以二进制追加模式打开 (参见 a )
rb+ 以二进制读写模式打开 (参见 r+ )
wb+ 以二进制读写模式打开 (参见 w+ )
ab+ 以二进制读写模式打开 (参见 a+ )
文件打开模式 w+ r+ a+ 区别和辨析
w+ 打开文件并读写:
1. 文件存在,则清空(也即写入空);
2. 文件不存在,则创建文件 ;
3. 文件流定位到开始位置, 所以read() 会得到空。
r+ 打开文件并读写:
1. 文件存在,打开文件,文件指针定位到文件开始位置;
2. 文件不存在, 则报错文件不存在。
a+ 打开文件并读写:
1. 文件存在,打开文件,文件指针定位到文件开始位置,但不清空;
2. 文件不存在,创建文件;
3. 打开后读取时,在文件开头位置,
4. 写入时,添加到文章末尾,并且指针位于添加后的末尾,所以再次读取会乱码。
另外:
1. w 打开文件写入,也会清空文件,如果使用read(),则报错;a 打开文件添加,数据流添加到文件末尾,而不是w模式的清空后,添加到文件末尾。
2. b可以附加到上述的字母后,形成rb, rb+, wb等等模式,针对二进制文件,比如exe, elf, jpeg格式的文件,进行文件操作; 在unix 类型的系统上,text格式与二进制的处理相同,
但是非unix类型的系统上,换行格式不同,所以需要用加b模式来在指定是否是二进制。