python-pandas
Posted 下雨天,真好
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python-pandas相关的知识,希望对你有一定的参考价值。
# pandas 数据预处理 基于numpy # 读取csv文件(逗号隔开的文件) import pandas,os,numpy as np path = r"D:desktopWorkspacePythonWorkSpaceMachine-Learningasstescsv2019_student_teacher.csv" student_teacher = pandas.read_csv(path,encoding="gbk") # print(type(student_teacher)) # panda.core.frame.DataFrame 就像numpy中的numpy.array """ 序号 int64 准考证号 int64 姓名 object 报考专业代码 int64 报考专业 object 研究方向 object 培养模式 object 录取导师 object """ # print(student_teacher.dtypes) # dtype: object # print(student_teacher) # 打印全部信息 # print(student_teacher.head()) # 打印前5条信息 # print(student_teacher.head(3)) # 打印前3条信息 # print(student_teacher.tail(5)) # 打印后边5条的信息 # print(student_teacher.columns) #Index([‘序号‘, ‘准考证号‘, ‘姓名‘, ‘报考专业代码‘, ‘报考专业‘, ‘研究方向‘, ‘培养模式‘, ‘录取导师‘], dtype=‘object‘) # print(student_teacher.shape) # (398, 8) # pandas中索引与计算,数据定位 行取数据 # print(student_teacher.loc[0]) """ 序号 1 准考证号 zzzzz 姓名 yyy 报考专业代码 85207 报考专业 电气工程(专业硕士) 研究方向 (全日制)电能质量检测与评估(研究所9) 培养模式 专业学位 录取导师 xxxx Name: 0, dtype: object """ # print(student_teacher.loc[1:3]) # print(student_teacher.loc[[1,2,3]]) """ 序号 准考证号 姓名 报考专业代码 报考专业 研究方向 培养模式 录取导师 1 2 kk xxx 80800 电气工程 (全日制)电力系统规划与运行分析(研究所10) 学术学位 teacher 2 3 kk yyy 85207 电气工程(专业硕士) (全日制)电力系统监测控制与运行分析(研究所10) 专业学位 teacher 3 4 kk zzz 85210 控制工程 (全日制)智能控制理论及应用(研究所13) 专业学位 teacher """ # 列取数据 # print(student_teacher["报考专业"]) """ 0 电气工程(专业硕士) 1 电气工程 2 电气工程(专业硕士) 3 控制工程 4 电子与通信工程 """ # 获取多个列,注意里边是list # print(student_teacher[["报考专业","导师"]]) # print(student_teacher.columns.tolist()) # [‘序号‘, ‘准考证号‘, ‘姓名‘, ‘报考专业代码‘, ‘报考专业‘, ‘研究方向‘, ‘培养模式‘, ‘录取导师‘] # print(student_teacher.loc[0]["姓名"]) # 列之间计算 # * new = student_teacher[x]*student_teacher[y] 对应位置相乘,注意行数相同 # +- 维度相同 对应相加减 # 加减的若为常数 每个数值与常数+- # 添加新列 student_teacher[‘new‘]=new # print(student_teacher["序号"].max()) # 获取该列最大值 # 按照序号列排序, inplace =True表示在源DataFrame上修改,否则生成新的Frame, # 默认排序从小到大ascending=True,Flase 为从大到小 # 对于列中某些为空的 显示时为NaN, 排序是不管哪种都默认放最后 # print(student_teacher.sort_values("序号",inplace=True,ascending=True)) # xxx = student_teacher["xxx"] # isNullOrNot = pandas.isnull(xxx) # print(isNullOrNot) """ 为空的是True 0 False 1 True ... """ # xxx[isNullOrNot] # len(....) 即可获取缺失值的个数 """ 对于一些加减乘除的操作 ,注意过滤NaN 否则计算机结果为NaN student_teacher["xxx"][isNullOrNot==False] 过滤缺失值 student_teacher["xxx"].mean() 自带的直接过滤 为空的是True 0 NaN ... """ # 聚合函数,分组后求平均:基本思路是循环 # 按照index分组,求values的平均值 # values= 还可以为list aggfunc 默认为mean # student_teacher.pivot_table(index="",values="",aggfunc=np.mean) # student_teacher.dropna(axis=1,subset=["xx","yy"]) # 删除 列中为空的 0删除行中为空的 若为行 使用subnet = [1,2,3] # student_teacher.loc[83,"序号"] # 直接定位到值 # student_teacher.sort_index("Age") # 按照Age排序, 结果中多添加的index列与会按照age排序 # student_teacher.sort_index("Age").reset_index(drop=True) # 表示原来的index不用了,形成新的 # def func(data): # return data # student_teacher.apply(func) # 自定义函数 # DataFrame 内部子结构Series # 例如 某一列的type 就是pandas.core.series.Series # student_teacher["xx"] 可再次对它进行切片 # ============================================= # 自定义Series from pandas import Series id= student_teacher["报考专业代码"].values # type 为 np.array 即把 xx 列所有内容 放入 array name= student_teacher["姓名"].values # type 为 np.array 即把 xx 列所有内容 放入 array series =Series(name,index=id) # series =Series(id,index=name) series[[85207,85210]] # 对series进行查找, index 为list中值的行,index可为str类型 """ id1 name id2 name2 ... """ # print(series.index.tolist()) # series.sort_index() # 按照index排序 # series.sort_values() # 按照values排序 # np.add(series,series) series相加 (维度相同) # series[series>50] 选取符合条件的值 # print(series[series>‘85200‘]) new= student_teacher.set_index("姓名",drop=True) # 修改索引,并返回 新的Frame print(new.loc[‘name‘]) # 此时查找行可通过姓名属性
以上是关于python-pandas的主要内容,如果未能解决你的问题,请参考以下文章