Pandas系列之入门篇

Posted 三界

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Pandas系列之入门篇相关的知识,希望对你有一定的参考价值。

Pandas系列之入门篇

简介

pandas 是 python用来数据清洗、分析的包,可以使用类sql的语法方便的进行数据关联、查询,属于内存计算范畴,
效率远远高于硬盘计算的数据库存储。另外pandas还提供了大数据存储的API——HDFStore,来对接HDF5。

安装

  1. pandas 利用豆瓣源,速度快

    pip install pandas numpy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
  2. pytables

    pip install tables
  3. hdf5
    Download: https://www.hdfgroup.org/downloads/hdf5/source-code/

    ./configure
    make
    make check
    make install

使用案例

上网流量数据:源数据以CSV文件实时生成,通过监听文件的方式做到一旦有新的CSV生成就进入数据处理流程。
总的流程大致分5部,分别是:读取CSV、数据清洗、数据分析、数据统计、存储HDF5。

关于下面用到的一些字段的解释说明:

user: 用户

tm_type: 终端类型

serv: 一级app分类

app: 二级app分类

record_time: 记录产生的时间

up_flux: 上行流量

down_flux: 下行流量

pandas api document: https://pandas.pydata.org/pandas-docs/stable/api.html?highlight=hdfstore

  1. 读取CSV

    filename_src = ‘xxx.csv‘
    col_list = [‘user‘, ‘tm_type‘, ‘serv‘, ‘app‘, ‘record_time‘, ‘up_flux‘, ‘down_flux‘]
    
    # \x01表示空格 16进制
    df_flux = pd.read_csv(filename_src, sep=‘\x01‘, error_bad_lines=False, index_col=False, usecols=[3, 10, 11, 12, 15, 16, 17], names=col_list)
  2. 数据清洗

    """
        data clean
    """
    # remove null data
    df_flux.dropna(inplace=True)
    
    # remove duplicates
    df_flux.drop_duplicates(inplace=True)
  3. 数据分析

    """
        data analysis
        inner join v_student_net(inner join)
        refer column: user
    """
    conn = mysqldb.connect(host, user, passwd, database, charset=‘utf8‘)
    cur = conn.cursor()
    sql = ‘select outid, username from v_student_net‘
    cur.execute(sql)
    results = cur.fetchall()
    df_student_net = pd.DataFrame(list(results), columns=[‘outid‘, ‘user‘])
    
    # inner join df_flux, v_student_net
    df_flux = pd.merge(df_flux, df_student_net, on=‘user‘)
  4. 数据统计

    """
        data statistics
        group by: record_date, outid, serv, app
        aggregate by: up_flux, down_flux
        sort by: down_flux with desc
    """
    # as_index=False,default True
    grouped = df_flux.groupby([‘record_date‘, ‘outid‘, ‘serv‘, ‘app‘], as_index=False)
    df_flux = grouped.agg({‘up_flux‘: ‘sum‘, ‘down_flux‘: ‘sum‘}).sort_values(‘down_flux‘, ascending=False)
  5. 存储HDF5

    """
        store in hdf5
    """
    hdf5_filepath = ‘xxx.h5‘
    store = pd.HDFStore(hdf5_filepath, complevel=1, complib=‘bzip2‘)
    store.put(‘flux‘, df_flux, format=‘table‘, append=True, data_columns=True)

总结

从上面的例子可以看到,pandas处理数据是相当的简洁明了,存储hdf5更是两句话就搞定。当然这里面会有相当多注意的细节,稍有不慎就会导致意想不到的结果,我将会在下一篇介绍。

要学好pandas,api文档必须要精通!

以上是关于Pandas系列之入门篇的主要内容,如果未能解决你的问题,请参考以下文章

Pandas高级数据分析快速入门之二——基础篇

Pandas高级数据分析快速入门之五——机器学习特征工程篇

Pandas高级数据分析快速入门之五——机器学习特征工程篇

Pandas高级数据分析快速入门之四——数据可视化篇

Pandas高级数据分析快速入门之六——机器学习预测分析篇

Pandas高级数据分析快速入门之三——数据挖掘与统计分析篇