使用pandas处理大型CSV文件

Posted 2020-09-19 L.P.B_Blizzard

# -*-  coding:utf-8 -*-
‘‘‘
CSV 常用API

1）reader(csvfile[, dialect=‘excel‘][, fmtparam])，主要用于CSV 文件的读取，返回一个
reader 对象用于在CSV 文件内容上进行行迭代。
         参数：
         csvfile，需要是支持迭代（Iterator）的对象，通常对文件（file）对象或者列表（list）对象都是适用的，并且每次调用next() 方法的返回值是字符串（string）；
         dialect 的默认值为excel，与excel 兼容；
         fmtparam 是一系列参数列表，主要用于需要覆盖默认的Dialect设置的情形
         
2）csv.writer(csvfile, dialect=‘excel‘, **fmtparams)，用于写入CSV 文件。

with open(‘data.csv‘, ‘wb‘) as csvfile:
    csvwriter = csv.writer(csvfile, dialect=‘excel‘,delimiter="|",quotechar=‘"‘,
                  quoting=csv.QUOTE_MINIMAL)
    csvwriter .writerow(["1/3/09 14:44","‘Product1‘","1200‘‘","Visa","Gouya"])
    # 写入行
            输出形式为: 1/3/09 14:44|‘Product1‘|1200‘‘|Visa|Gouya

3）csv.DictReader(csvfile, fieldnames=None, restkey=None, restval=None, 
dialect=‘excel‘,*args, **kwds)，同reader() 方法类似，不同的是将读入的信息映射到一个字典中去，其中字
             典的key 由fieldnames 指定，该值省略的话将使用CSV 文件第一行的数据作为key 值。如果
             读入行的字段的个数大于filednames 中指定的个数，多余的字段名将会存放在restkey 中，而
    restval 主要用于当读取行的域的个数小于fieldnames 的时候，它的值将会被用作剩下的key对应的值。
    
4）csv.DictWriter(csvfile, fieldnames, restval=‘‘, extrasaction=‘raise‘, 
dialect=‘excel‘, *args,**kwds)，用于支持字典的写入。    
    
‘‘‘
import csv
#DictWriter
with open(‘C:\\test.csv‘, ‘wb‘) as csv_file:
    # 设置列名称
    FIELDS = [‘Transaction_date‘, ‘Product‘, ‘Price‘, ‘Payment_Type‘]
    writer = csv.DictWriter(csv_file, fieldnames=FIELDS)
    # 写入列名称
    writer.writerow(dict(zip(FIELDS, FIELDS)))
    d = {‘Transaction_date‘:‘1/2/09 6:17‘,‘Product‘:‘Product1‘,‘Price‘:‘1200‘,           ‘Payment_Type‘:‘Mastercard‘}
    # 写入一行 
    writer.writerow(d)
    
with open(‘C:\\test.csv‘, ‘rb‘) as csv_file:
    for d in csv.DictReader(csv_file):
        print d
        
‘‘‘
Pandas 即Python Data Analysis Library，是为了解决数据分析而创建的第三方工具，，它
不仅提供了丰富的数据模型，而且支持多种文件格式处理，包括CSV、HDF5、html 等，
能够提供高效的大型数据处理。其支持的两种数据结构——Series 和DataFrame——是数据处
理的基础。下面先来介绍这两种数据结构。

Series：它是一种类似数组的带索引的一维数据结构，支持的类型与NumPy 兼容。如
果不指定索引，默认为0 到N-1。通过obj.values() 和obj.index() 可以分别获取值和索
引。当给Series 传递一个字典的时候，Series 的索引将根据字典中的键排序。如果传
入字典的时候同时重新指定了index 参数，当index 与字典中的键不匹配的时候，会
出现时数据丢失的情况，标记为NaN。

import pandas
#在pandas 中用函数isnull() 和notnull() 来检测数据是否丢失。

>>> obj1 = Series([1, ‘a‘, (1,2), 3], index=[‘a‘, ‘b‘, ‘c‘, ‘d‘])
>>> obj1#value 和index 一一匹配
a 1
b a
c (1, 2)
d 3
dtype: object
>>> obj2=Series({"Book":"Python","Author":"Dan","ISBN":"011334","Price":25},inde
x=[‘book‘,‘Author‘,‘ISBM‘,‘Price‘])
>>> obj2.isnull()
book True # 指定的index 与字典的键不匹配，发生数据丢失
Author False
ISBM True # 指定的index 与字典的键不匹配，发生数据丢失
Price False
dtype: bool

?DataFrame ：类似于电子表格，其数据为排好序的数据列的集合，每一列都可以是
不同的数据类型，它类似于一个二维数据结构，支持行和列的索引。和Series 一
样，索引会自动分配并且能根据指定的列进行排序。使用最多的方式是通过一个长
度相等的列表的字典来构建。构建一个DataFrame 最常用的方式是用一个相等长度
列表的字典或NumPy 数组。DataFrame 也可以通过columns 指定序列的顺序进行
排序。

>>> data = {‘OrderDate‘: [‘1-6-10‘, ‘1-23-10‘, ‘2-9-10‘, ‘2-26-10‘, ‘3-15-10‘],
... ‘Region‘: [‘East‘, ‘Central‘, ‘Central‘, ‘West‘, ‘E ast‘],
... ‘Rep‘: [‘Jones‘, ‘Kivell‘, ‘Jardine‘, ‘Gill‘, ‘Sorv ino‘]}
>>>
>>> DataFrame(data,columns=[‘OrderDate‘,‘Region‘,‘Rep‘])# 通过字典构建，按照cloumns 指定的顺序排序
OrderDate Region Rep
1-6-10 East Jones
1-23-10 Central Kivell
2-9-10 Central Jardine
2-26-10 West Gill
3-15-10 East Sorvino

#Pandas 中处理CSV 文件的函数主要为read_csv() 和to_csv() 这两个，其中read_csv() 读取CSV 文件的内容并返回DataFrame，to_csv() 则是其逆过程。

1）指定读取部分列和文件的行数。具体的实现代码如下：
df = pd.read_csv("SampleData.csv",nrows=5,usecols=[‘OrderDate‘,‘Item‘,‘Total‘])

方法read_csv() 的参数nrows 指定读取文件的行数，usecols 指定所要读取的列的列名，
如果没有列名，可直接使用索引0、1、...、n-1。上述两个参数对大文件处理非常有用，可
以避免读入整个文件而只选取所需要部分进行读取

2）设置CSV 文件与excel 兼容。dialect 参数可以是string 也可以是csv.Dialect 的实例。
如果将图4-2 所示的文件格式改为使用“ |”分隔符，则需要设置dialect 相关的参数。error_
bad_lines 设置为False，当记录不符合要求的时候，如记录所包含的列数与文件列设置不相
等时可以直接忽略这些列。下面的代码用于设置CSV 文件与excel 兼容，其中分隔符为“| ”，
而error_bad_lines=False 会直接忽略不符合要求的记录。

>>> dia = csv.excel()
>>> dia.delimiter="|" #设置分隔符
>>> pd.read_csv("SD.csv")
OrderDate|Region|Rep|Item|Units|Unit Cost|Total
1-6-10|East|Jones|Pencil|95|1.99 |189.05
1-23-10|Central|Kivell|Binder|50|19.99 |999.50...
>>> pd.read_csv("SD.csv",dialect = dia,error_bad_lines=False)
Skipping line 3: expected 7 fields, saw 10 # 所有不符合格式要求的列将直接忽略
OrderDate Region Rep Item Units Unit Cost Total
1-6-10 East Jones Pencil 95 1.99 189.05

3）对文件进行分块处理并返回一个可迭代的对象。分块处理可以避免将所有的文件载入
内存，仅在使用的时候读入所需内容。参数chunksize 设置分块的文件行数，10 表示每一块
包含10 个记录。将参数iterator 设置为True 时，返回值为TextFileReader，它是一个可迭代对
象。来看下面的例子，当chunksize=10、iterator=True 时，每次输出为包含10 个记录的块。
>>> reader = pd.read_table("SampleData.csv",chunksize=10,iterator=True)
>>> reader
<pandas.io.parsers.TextFileReader object at 0x0314BE70>
>>> iter(reader).next() # 将TextFileReader 转换为迭代器并调用next 方法
OrderDate,Region,Rep,Item,Units,Unit Cost,Total # 每次读入10 行
1-6-10,East,Jones,Pencil,95, 1.99 , 189.05
1-23-10,Central,Kivell,Binder,50, 19.99 , 999.50
2-9-10,Central,Jardine,Pencil,36, 4.99 , 179.64
2-26-10,Central,Gill,Pen,27, 19.99 , 539.73
3-15-10,West,Sorvino,Pencil,56, 2.99 , 167.44
4-1-10,East,Jones,Binder,60, 4.99 , 299.40
4-18-10,Central,Andrews,Pencil,75, 1.99 , 149.25
5-5-10,Central,Jardine,Pencil,90, 4.99 , 449.10
5-22-10,West,Thompson,Pencil,32, 1.99 , 63.68

4）当文件格式相似的时候，支持多个文件合并处理。以下例子用于将3 个格式相同的
文件进行合并处理。

>>> filelst = os.listdir("test")
>>> print filelst # 同时存在3 个格式相同的文件
[‘s1.csv‘, ‘s2.csv‘, ‘s3.csv‘]
>>> os.chdir("test")
>>> dfs =[pd.read_csv(f) for f in filelst]
>>> total_df = pd.concat(dfs) # 将文件合并
>>> total_df
OrderDate Region Rep Item Units Unit Cost Total
1-6-10 East Jones Pencil 95 1.99 189.05
1-23-10 Central Kivell Binder 50 19.99 999.5


‘‘‘