python I/O编程

Posted quanmeng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python I/O编程相关的知识,希望对你有一定的参考价值。

1.文件读写

使用open打开文件,f=open(‘/user/test.txt‘,‘r‘),r表示可读

如果文件不存在,则抛出IOError

文件打开,则用read()方法进行读取

最后关闭用close()方法

python中引入with语句,和try...finally效果一样,但是不用调用close方法

>>> with open(/path/file,f) as f:
    print(f.read)

read会一次性读取全部内容,如果文件有10G,内存就爆了,所以,要保险起见,可以反复调用read(size)方法,每次最多读取size个字节的内容。另外,调用readline()可以每次读取一行内容,调用readlines()一次读取所有内容并按行返回list。因此,要根据需要决定怎么调用。如果文件很小,read()一次性读取最方便;如果不能确定文件大小,反复调用read(size)比较保险;如果是配置文件,调用readlines()最方便:

>>> for line in f.readlines():
    print(line.strip())

file—like Object

定义:open函数中返回的read方法的对象

二进制文件:如图片、视频,用‘rb’模式打开

>>> f = open(/Users/michael/test.jpg, rb)
>>> f.read()
bxffxd8xffxe1x00x18Exifx00x00... # 十六进制表示的字节

字符编码,需要传入encoding

>>> f = open(/Users/michael/gbk.txt, r, encoding=gbk)
>>> f.read()
测试

遇到有些编码不规范的文件,你可能会遇到UnicodeDecodeError,因为在文本文件中可能夹杂了一些非法编码的字符。遇到这种情况,open()函数还接收一个errors参数,表示如果遇到编码错误后如何处理。最简单的方式是直接忽略:

>>> f = open(/Users/michael/gbk.txt, r, encoding=gbk, errors=ignore)

写文件:

>>> f = open(/Users/michael/test.txt, w)
>>> f.write(Hello, world!)
>>> f.close()
with open(/Users/michael/test.txt, w) as f:
    f.write(Hello, world!)

‘w‘模式写入文件时,如果文件已存在,会直接覆盖(相当于删掉后新写入一个文件)。如果我们希望追加到文件末尾怎么办?可以传入‘a‘以追加(append)模式写入。

 2.SrtingIO和BytesIO

1)StringIO

在内存中读写str

先写入

>>> from io import StringIO
>>> f = StringIO()
>>> f.write(hello)
5
>>> f.write( )
1
>>> f.write(world!)
6
>>> print(f.getvalue())
hello world!

后读取

>>> from io import StringIO
>>> f = StringIO(Hello!
Hi!
Goodbye!)
>>> while True:
...     s = f.readline()
...     if s == ‘‘:
...         break
...     print(s.strip())
...
Hello!
Hi!
Goodbye!

2)BytesIO

二进制数据的写入与读取

>>> from io import BytesIO
>>> f = BytesIO()
>>> f.write(中文.encode(utf-8))
6
>>> print(f.getvalue())
bxe4xb8xadxe6x96x87
>>> from io import BytesIO
>>> f = BytesIO(bxe4xb8xadxe6x96x87)
>>> f.read()
bxe4xb8xadxe6x96x87

 3.操作文件和目录

python内置的os模块提供调用接口的内置函数

>>> import os
>>> os.name
nt

如果是‘nt’类型,则说明是windows系统,如果是posix说明是linux、unix、或者Mac os X

获取详细地址调用uname(),但是uname在windows上面不提供

环境变量:

操作系统的环境变量全部保存在os.environ中,要获取某个变量的值,可以调用os.environ.get‘key‘

操作文件和目录

操作文件和目录一部分放在os模块中,一部分放在os.path中,查看、创建、删除如下:

>>> #查看当前目录的绝对路径
>>> os.path.abspath(.)
C:\Users\ZM\AppData\Local\Programs\Python\Python37
>>> #在某个目录下创建一个新目录,首先把新目录的完整路径表示出来
>>> os.path.join(C:\Users\ZM\AppData\Local\Programs\Python\Python37,testdir)
C:\Users\ZM\AppData\Local\Programs\Python\Python37\testdir
>>> #然后创建一个目录
>>> os.mkdir(C:\Users\ZM\AppData\Local\Programs\Python\Python37\testdir)
>>> #删掉一个目录
>>> os.rmdir(C:\Users\ZM\AppData\Local\Programs\Python\Python37\testdir)

把两个路径合并成一个路径时,不要直接拼接字符串,要使用os.path.join()函数,在linux、unix、或者Mac os X下,os.path.join(),返回这样的字符串:part-1/part-2,而在windows下返回part-1part-2

拆分路径时使用os.path.split()函数

os.path.splitext()可以直接得到文件扩展名

文件过滤

>>> [x for x in os.listdir(.) if os.path.isdir(x)]
[DLLs, Doc, include, Lib, libs, Scripts, tcl, Tools]
>>> #列出.py文件
>>> [x for x in os.listdir(.) if os.path.isfile(x) and os.path.splitext(x)[1]=.py]
SyntaxError: invalid syntax
>>> [x for x in os.listdir(.) if os.path.isfile(x) and os.path.splitext(x)[1]==.py]

 4.序列化

定义:变量从内存变成可存储或传输的过程称之为序列化

python通过pickle进行序列化

首先。尝试将一个对象序列化并写入文件

>>> import pickle
>>> d = dict(name = bob,age = 20,source = 88)
>>> pickle.dumps(d)
bx80x03}qx00(Xx04x00x00x00nameqx01Xx03x00x00x00bobqx02Xx03x00x00x00ageqx03Kx14Xx06x00x00x00sourceqx04KXu.
>>> 

序列化成bytes类型写入文件,或者用pickle.dump()直接将对象序列化写入一个file-like Object

f = open(‘dump.txt‘,‘wb‘)

pickle.dump(d,f)

f.close()

当从磁盘读到内存,可以先把一个内容读到一个bytes类型,用pickle.load()反序列化出对象

 json:作为一种对象序列化的标准格式

将python对象变成json

>>> import json
>>> d = dict(name = bob,age = 20,source =88)
>>> json.dumps(d)
{"name": "bob", "age": 20, "source": 88}

要把json反序列化为python对象,用loads()或者load()方法

>>> json_str = {"age":20,"source":33,"name":bob}
>>> json.loads(json_str)

json进阶

pyhon的dict对象可以直接序列化为json的{},不过,很多时候,我们用class表示对象,然后序列化

 

 

以上是关于python I/O编程的主要内容,如果未能解决你的问题,请参考以下文章

Python -- I/O编程

Python基础10—I/O编程

Python 15 I/O编程

用于 Python 中竞争性编程的快速 I/O

Python学习:并发编程之IO模型

python并发编程:异步IO(Asynchronous I/O)