python简单的数据清洗,数据筛选方法归类

Posted 淡定的魂魄

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python简单的数据清洗,数据筛选方法归类相关的知识,希望对你有一定的参考价值。

创建数组有两种方式,1.直接赋值  2.随机变量生成
随机生成包括4种:np.arange(20),np.linspace(0,10,5),np.logspace(0,2,5),np.random.random(3,2,3)
np.arange(10,20,2) ##左闭右开区间,起始值,终止值,步长
np.linspace(0,10,5) ##闭区间,起始值,终止值,元素个数 等差数列
np.logspace(0,2,5) ##闭区间,起始值(以指数形式存在),终止值(以指数形式存在, 以10为底,2的指数),元素个数 等比数列
np.random.random(3,2,3) #三维是3个,二维是2个,一维是3个

ndarray的属性:
dytpe 输出的是组成数组的元素的数据类型,int+32
shape 一个数组的各个维度大小的元组,比如返回(2, 5)
size 元素总个数
ndim 一个数组的维度数量,比如三维数组返回就是3

ndarry修改形状(只有shape会改变原来的数据,其它的都不会):
a.reshape(-1,5) #这里-1表示自适应,5表示5列
a.shape(2,-1) #方法中的值同reshape,只是shape改变了原本的数组,reshape没有改变原本的
修改数组中的值可以用切片
通过transpose转制数组,比如数组shape由(5,8)可以转换为shape为(8,5),只是提取数据,原数据不变
通过属性T转置直接shape由(5,8)转换为(8,5),只是提取数据,原数据不变

数组之间的加减乘除,数组与数组之间,数组与标量(数字)之间
数组的矩阵积,一个数组的一列值分别与另一个数组的一列值相乘
布尔类型的数组进行数组索引
花式索引arr[np.ix_([0,3,5],[0,2,3])]

通用函数,一维函数,二维函数
聚合函数,min最小值,max最大值,mean平均值等等,如arr.min(),返回具体的值
二维数组下,axis=0表示列,axis=1表示行,如arr.min(axis=0),同列上的元素进行聚合,返回的是这一列最小的值拼成的一行
where可以查找替换指定的元素np.where(条件,替换设定的值,数组)
unique可以排除重复,返回的是一维数组

请原谅我,这写的的确不是给人看的。。。例子后期看心情添加































以上是关于python简单的数据清洗,数据筛选方法归类的主要内容,如果未能解决你的问题,请参考以下文章

数据清洗之数据表处理 筛选 增删查改 整理 层次化索引

100天精通Python(数据分析篇)——第69天:Pandas常用数据筛选方法(betweenisinlociloc)

MapReduce数据清

MapReduce数据清

hadoop清理某个分区的数据

python - 常用数据清洗方法-重复项处理