python教程之CSV文件数据存储的处理操作

Posted 2021-07-28 zhi_neng

CSV，全称为Comma-Separated Values，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或制表符。不过所有记录都有完全相同的字段序列，相当于一个结构化表的纯文本形式。它比 Excel 文件更加简洁，XLS文本是电子表格，它包含了文本、数值、公式和格式等内容，而CSV中不包含这些内容，就是特定字符分隔的纯文本，结构简单清晰。所以，有时候用CSV来保存数据是比较方便的。本文中，我们来讲解Python读取和写入CSV文件的过程。

 

1.写入

我们看一个简单的例子：

import csv

with open('data.csv','w') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['id','name','age'])
    writer.writerow(['10001','Mike',20])
    writer.writerow(['10002','Bob',22])
    writer.writerow(['10003','Jordan',21])

首先，打开data.csv文件，然后指定打开的模式为w（即写入），获得文件句柄，随后调用csv库的writer()方法初始化写入对象，传入该句柄，然后调用writerow()方法传入每行的数据即可完成写入。

运行结束后，会生成一个名为data.csv的文件，此时数据就成功写入了。直接以文本形式打开的话，其内容如下：

id,name,age

10001,Mike,20

10002,Bob,22

10003,Jordan,21

可以看到，写入的文本默认以逗号分隔，调用一次writerow()方法即可写入一行数据。

如果想修改列与列之间的分隔符，可以传入delimiter参数，其代码如下：

import csv

with open('data.csv','w') as csvfile:
    writer = csv.writer(csvfile,delimiter=' ')
    writer.writerow(['id','name','age'])
    writer.writerow(['10001','Mike',20])
    writer.writerow(['10002','Bob',22])
    writer.writerow(['10003','Jordan',21])

这里在初始化写入对象时传入delimiter为空格，此时输出结果的每一列就是以空格分隔了，内容如下：

id name age

10001 Mike 20

10002 Bob 22

10003 Jordan 21

另外，我们也可以调用writerows()方法同时写入多行，此时参数就需要为二维列表，例如：

import csv

with open('data.csv','w') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['id','name','age'])
    writer.writerows(['10001','Mike',20],['10002','Bob',22],['10003','Jordan',21])

输出效果是一样的，内容如下：

id,name,age

10001,Mike,20

10002,Bob,22

10003,Jordan,21

但是在一般情况下，爬虫爬取的都是结构化数据，我们一般会用字典来表示。在csv库中也提供了字典的写入方式，示例如下：

import csv

with open('data.csv','w') as csvfile:
    fieldnames = ['id','name','age']
    writer = csv.DictWriter(csvfile,fieldnames=fieldnames)
    writer.writerheader()
    writer.writerow({'10001','Mike',20})
    writer.writerow({'10002','Bob',22})
    writer.writerow({'10003','Jordan',21})

这里先定义了3个字段，用filenames表示，然后将其传给DictWriter来初始化一个字典写入对象，接着可以调用writeheader()方法先写入头信息，然后再调用writerow()方法传入相应字典即可最终写入的结果是完全相同的，内容如下：

id,name,age

10001,Mike,20

10002,Bob,22

10003,Jordan,21

这样就可以完成字典到csv文件的写入了。另外，如果想追加写入的话，可以修改文件的代开模式，即将open()函数的第二个参数改成a，代码如下：

import csv

with open('data.csv','a') as csvfile:
    fieldnames = ['id','name','age']
    writer = csv.DictWriter(csvfile,fieldnames=fieldnames)
    writer.writerow({'10004','Durant',22})

这样在上面的基础上再执行这段代码，文件内容便会变成下面的内容：

id,name,age

10001,Mike,20

10002,Bob,22

10003,Jordan,21

1004,Durant,22

如果在写入中文内容的话，可能会遇到字符编码的问题，此时需要给open()参数制定编码格式。比如，这里再写入一行包含中文的数据，代码需要改写如下：

import csv

with open('data.csv'.'a',encoding='utf-8') as csvfile:
    fieldnames = ['id','name','age']
    writer = csv.DictWriter(csvfile,fieldnames=fieldnames)
    writer.writerow({'id':'10005','name':'王伟','age':22})

这里需要给open()函数制定编码，否则可能发生编码错误。另外，如果接触多pandas等库的话，可以调用DataFrame对象的to_csv()方法来将数据写入CSV文件中。

 

2.读取

我们同样可以使用csv库来读取csv文件。例如，将刚才写入的文件内容读取出来，相关代码如下：

import csv 

with open('data.csv','r',encoding='utf-8') as file:
    reader = csv.reader(csv.file)
    for row in reader:
        print(row)


运行结果如下：
['id','name','age']
['10001','Mike','20']
['10002','Bob','22']
['10003','Jordan','21']
['1004','Durant','22']
['1005','王伟','22']

这里我们构造的是Reader对象，通过遍历输出每一行的内容，每一行都是一个列表形式。注意，如果CSV文件中包含中文的话，还需要指定文件编码。

如果接触过pandas的话，可以利用read_csv()方法将数据从CSV中读取出来，例如：

import pandas as pd

df = pd.read_csv('data.csv')

print(df)

运行结果如下：

    id    name    age
0   10001 Mike    20
1   10002 Bob     22
2   10003 Jordan  21
3   10004 Durant  22
4   10005 王伟    22

在做数据分析的时候，此种方法用得比较多，也是一种比较方便地读取CSV文件的方法。

在本文中，我们了解了CSV文件的写入和读取方式。这也是一种常用的数据存储的方式，需要熟练掌握。