Numpy and Pandas

Posted 2021-01-20 maskerk

安装

视频链接：https://morvanzhou.github.io/tutorials/data-manipulation/np-pd/

pip install numpy
pip install pandas

Numpy 学习

Numpy属性

import numpy as np

array = np.array([[1,2,3],
                  [2,3,4]])
print(array)
print('number of dim:',array.ndim)//几维度
print('shape:',array.shape)//行数列数
print('size:',array.size)//多少个元素

Numpy创建array

impport numpy as np

a = np.array([2,23,4],dtype=np.int)
print(a)
print(a.dtype)
a = np.zeros((3,4))//三行四列的0矩阵
a = np.ones((3,4),dtype=np.int16)//三行四列的1矩阵
a = np.empyt((3,4))//三行四列非常接近0的矩阵
a = np.arrange(10,20,2)//[10 12 14 16 18]
a = np.arrange(12).reshape((3,4))//三行四列从0~11
a = np.linspace(1,10,5)//从1到10分成5段的数列，[1. 3.25 5.5 7.75 10.]

Numpy 基础运算1

import numpy as np

a = np.array([10,20,30,40]
b = np.arrange(4)
print(b<3)//[True True True False]
print(b == 3)//[False False False True]

c = a + b
print(c)//[10 21 32 43]

c = b**2//b的平方,[0 1 4 9]
c = 10*np.sin(a)//正弦

d = np.array([[1,1],
              [0,1] ])
e = np.arrange(4).reshape((2,2))
f = d*e
f_dot = np.dot(e,f)
f_dot_2 = e.dot(f)//运算和f_dot完全相同
print(f)//[[0 1][0 3]]
print(f_dot)//[[2 4][2 3]],只是矩阵的运算

a = np.random.random((2,4))//2行4列0~1范围的随机值
np.sum(a)//求和
np.min(a)//求最小
np.max(a)//求最大

np.sum(a，axis=1)//在行中求和，1代表行，0代表列

Numpy 基础运算2

import numpy as np

A = np.arrange(2,14).reshape((3,4))
np.argmin(A)//最小值的索引
np.argmax(A)//最大值的索引
print(np.argmin(A))//0
np.mean(A)//平均值
A.mean()//平均值
np.median(A)//中位数 7.5
np.cumsum(A)//逐步加进去 [2 5 9 14 20 27 35 44 54 65 77 90]
np.diff(A)//每两个数之间的差 [[1 1 1][1 1 1][1 1 1]]
np.nonzero(A)//找出非零元素的位置
np.sort(A)//逐行排序
np.transpose(A)//A的转置
A.T//A的转置
(A.T).dot(A)//A的转置与A相乘
np.clip(A,5,9)//小于5的数赋值为5，大于9的数赋值为9，中间值不变
np.mean(A,axis=0)//对列取平均值 [10. 9. 8. 7.]
print(A)

Numpy 索引

import numpy as np

A = np.arrange(3,15) 
A[3]//6
A = A.reshape((3,4))
A[2]//[11 12 13 14]
A[1][1]//8
A[1,1]//8
A[2,:]//第2行的所有数
A[1,1:3]//[8 9]

for row in A:
    print(row)//依次打印每一行


for column in A.T:
    print(column)//依次打印每一列

A.flatten()//又转成了一维 [3 4 5 6 7 8 9 10 11 12 13 14]

for item in A.flat:
    print(item)//3-14依次每行打印出来，A.flat返回了一个迭代器

Numpy array 合并

import numpy as np

A = np.array([1,1,1])
B = np.array([2,2,2])

C = np.vstack((A,B))#[[1 1 1][2 2 2]] vertical stack上写合并
D = np.hstack((A,B))#[1 1 1 2 2 2] horizontal stack左右合并
print(A.shape,C.shape,D.shape)#(3,)(2,3)(6,)

#把横向的数列转成纵向的 np.newaxis增加一个维度 还有reshape(3,1)
A[np.newaxis,:].shape #(1,3)
A[:,np.newaxis].shape #(3,1) [[1][1][1]]

E = np.concatenate((A,B,B,A),axis=0)#指定方向合并(左右或者上下)

Numpy array 分割

import numpy as np

A = np.arange(12).reshape((3,4))
np.split(A,2,axis = 1)#横向等分成两段 [array([[0,1][4,5],[8,9]]),array([[2,3][6,7],[10,11]])] 横向等分成两段

np.array_split(A,3,axis = 1)#横向不等分成两段 [array([[0,1],[4,5],[8,9]]),array([[2],[6],[10]]),array([[3],[7],[11]])]

np.vsplit(A,3)#纵向分为三段
np.hsplit(A,2)#横向分为两段

Numpy copy & deep copy

import numpy as np

a = np.arange(4)
b = a
c = a
d = b
a[0] = 1
b is a#True b就是a b[0] = 11  a,b,c,d就是一个变量 引用

b = a.copy() # deep copy
b is a # False a和b是两个变量，没有关联

Pandas 学习

Pandas 选择数据

import pandas as pd
import numpy as np

dates = pd.date_range('20130101',periods = 6)
df = pd.DataFrame(np.arange(24).reshape((6,4)),index=dates,cloumns=['A','B','C','D'])

print(df)


    #               A   B   C   D
    #   2013-01-01  0   1   2   3
    #   2013-01-02  4   5   6   7
    #   2013-01-03  8   9   10  11
    #   2013-01-04  12  13  14  15
    #   2013-01-05  16  17  18  19
    #   2013-01-06  20  21  22  23
    

print(df.A)#或者 print(df['A'])


    #   2013-01-01  0   
    #   2013-01-02  4   
    #   2013-01-03  8   
    #   2013-01-04  12  
    #   2013-01-05  16  
    #   2013-01-06  20

df[0:3],df['20130101':'201304']是同样的操作

# select by label:loc  指定标签
print(df.loc['20130102'])
    #A  4
    #B  5
    #C  6
    #D  7

print(df.loc[:,['A','B']])#所有行的A列和B列显示出来
print(df.loc[‘20130102’,['A','B']])#行索引为‘20130102’的A列和B列显示出来
    #A  4
    #B  5

#select by position:iloc 指定位
print(df.iloc[3])#打印第四行数据
print(df.iloc[3，1])#打印第四行第二列数据

print(df.iloc[1,3,5])#第2，4，6行打印

#mixed selection:ix 混合位和标签
print(df.ix[:3,['A','C']])#0-2行 A/C列

#Boolean indexing 通过真值打印
print(df[df.A > 8])# 打印A列中大于8的行的所有信息

Pandas 设置值

import pandas as pd
import numpy as np

dates = pd.date_range('20130101',periods = 6)
df = pd.DataFrame(np.arange(24).reshape((6,4)),index=dates,cloumns=['A','B','C','D'])

df.iloc[2,2] = 111#修改第3行第3列数值
df.iloc['20130101','B'] = 222
df[df.A > 4] = 0# A列大于4的行的所有信息赋值为0
df.A[df.A > 4] = 0# A列大于4的行的A列赋值为0
df['F'] = np.nan #F列值全为NaN(没有此列就追加此列)
df['E'] = pd.Series([1,2,3,4,5,6],index=pd.date_range('20130101',periods=6))#追加E列，列的值为1，2，3，4，5，6

Pandas处理丢失数据

import pandas as pd
import numpy as np

dates = pd.date_range('20130101',periods = 6)
df = pd.DataFrame(np.arange(24).reshape((6,4)),index=dates,cloumns=['A','B','C','D'])

df.iloc[0,1] = np.nan
df.iloc[1,2] = np.nan#设置第1行2列值为NaN

print(df.dropna(axis=0,how='any'))#丢掉有NaN值的行
#how={'any','all'} any表示只要有就满足 all表示所有都是才满足

print(df.fillna(value=0))#填充NaN值为0
df.isnull()#df中是否有NaN，列出所有
np.any(df.isnull()) == True#只要有NaN就返回True

Pandas 导入导出

Pandas 合并 concat

Pandas 合并 merge

Pandas plot 画图