python笔记

Posted 2020-10-20

Python 学习笔记
一、 主要基本内容
1.1 主要python库
（1） Numpy库：主要进行数据处理，对于数组进行元素级运算；线性代数运算，傅立叶变换，随机数的生产；
（2） Pandas库：便捷处理结构化数据的大量数据结构和函数；
（3） Matplotlib库：绘制数据图表；
1.2 主要工作
（1） 与外界交互：读写各种各样的格式和数据库；
（2） 准备：对数据进行清理、修整、整和、规范化、重塑、切片切块、变形等处理；
（3） 转换：对数据集做一些数学和统计运算以产生新的数据集；
（4） 建模和计算：将数据和统计模型、机器学习算法或其他计算工具联系起来；
（5） 展示：创建交互式的或静态的图片或文字摘要；
1.3 python import与from…import….(python模块)区别
在python用import或者from…import来导入相应的模块。模块其实就一些函数和类的集合文件，它能实现一些相应的功能，当我们需要使用这些功能的时候，直接把相应的模块导入到我们的程序中，我们就可以使用了。
① import numpy as np；导入numpy模块，并使用np表示
Import numpy ;导入numpy模块
From numpy import ；从模块numpy中导入，并使用其中的命名
② 我们可以通过import来导入多个模块，用“,”（逗号）分隔。
1.3 Python主要数据结构
（1） 列表（list）：a=[1,2,’asd’,4];列表中的值可以修改
（2） 元组（Tuple）：a=（1，3，‘asd’，4）；元组中的值不可以修改
（3） 字典（Dictionary）：a=｛‘today‘：20，’tomorrow‘：30｝；today是键（key），20是key的值
B=a不是复制而是引用；b=a（:）才是复制b=a.copy()也是复制
二、 Numpy库
2.1 数组ndarray：
(1) 将一个元组、字典、列表转化为数组：data=np.array(data1);
(2) 主要函数：
（m，n）=array.shape；m表示行，n表示列的维数
array.ndim:数组行的维数
array.dtype:数组的数据类型
np.zeros(),np.ones():分别创建指定长度或形状的全0或全1的数组
np.arrange(15):产生0-14的数组
np.reshape((2,3)) :表示设置数组形状
（3） 数组的运算
AA：两个数组对应元素相乘 1/A,A**0.5
A-A:对应元素相减
（4） 索引和切片
元素索引：
A[5:8]:表示数组A的第6到第8个元素
A[:]:表示A中所有元素
A[1,2]与A[1][2]等价
A[2,3,4]：表示2个3行4列的数组
切片索引：
A[1:6]:表示前面第2个元素到第6个元素
A[:2,1:]:表示前2行，第2列到最后（第一行到第三行，第2列到最后一列）
布尔型索引：
花式索引：
（5） 数组的转置和轴对换
Array.T 表示数组的转置
np.dot(x,y) 表示XY的内积
（6） 通用函数
abs、fabs：计算绝对值
sqart：计算平方根
square：计算平方
exp：计算指数
add：将数组中元素对于相加
multiply：数组对于元素相乘
maximum：元素级最大值计算
minimum：元素级最小值计算
mod 求模
np.meshgrid(x,y)表示产生二维矩阵
numpy.where(x,y,z)表示if x 则y，否则z
（7） 数学和统计方法：
Sum 表示全部或某轴向求和
Mean 算术平均值
Std、var 标准差和方差
Min和max 最小值和最大值
Argmin、argmin 最小元素和最大元素索引
Cumsum 所有元素累计求和
Cumprod 所有元素累计求积
排序：array.sort()
唯一化和其他的集合逻辑
（8） 数组文件的输入输出
将数组以二进制文件保存到磁盘：np.save(‘array’,array);文件保存为.npy,可通过np.load导入；
读取文本：arr=np.loadtxt(‘array.txt’,delimiter=’,’)
(9) 线性代数
X.dot(y)相当于np.dot(x,y)
矩阵的逆：inv(A)
Trace: 计算对角线元素的和
det:计算矩阵的行列式
eig:计算矩阵的本征值和本征向量
solve： 求解线性方程组Ax=b
lstsq: 求解Ax=B的最小二乘解
（10） 随机数生成
np.random.normal(size=(4,4)) 标准正态分布
rand 均匀分布样本值
randint 给定上下限随机选取整数
binomial 产生二项分布的样本值
三、 Pandas库
（1） 数据结构介绍：
Series：由数组对象和数据标签组成。Obj=series（array）；obj.values为数据值，obj.index为数据标签，标签可以是数字，也可是字母。读取时obj[‘a’];
DataFrame:表格型数据结构，含有一组有序的列，每列可以是不同的值类型（数字，字符串，布尔型），既有行索引也有列索引。
Array为字典，frame=DataFrame（Array）
Frame=DataFrame（Array，colums=[],index=[]） colums表示行索引，index表示列索引
（2） 索引对象
Index对象是不可修改的
reindex 重新索引obj.reindex(range(6),method=’ffill’) ffill或pad前向填充，bfill或backfill后向填充
obj.drop([‘index’]) 删除指定索引的值
obj[‘a’:’c’] a行到c行
data[data[‘three’]>5]
（3） 算术运算和数据对齐
S1+S2 都是series类型，索引值相同，值相加，不同，nan填充
（4） 函数应用和映射
Def f（x） frame.apply(f)
（5） 排序和排名
根据行和列索引进行排序obj.sort_index() obj.sort_index(by=’b’) 按某一列进行排序
带有重复值的索引：
（6）汇总和计算描述统计：
Sum、mean、
相关系数和协方差：import pandas.io.data as web
Cov 为协方差
（7） 唯一值、值计算、成员资格
Obj.unique() 唯一值数组
Obj.value_counts() 各值出现频率
Obj.isin()判断矢量化集合的成员资格
（8） 处理缺失数据
Data.isnumll()判断是否为空
Data.dropna()滤掉缺失数据
Data.fillna(0) 常数填充
（9） 层次化索引
（10） 重排分级顺序
（11） 根据级别汇总顺序
（12） 使用DataFrame的列
四、Matplotlib库：import matplotlib.pyplot as plt
4.1 Matplotlib中API
（1） figure和subplot
fig=plt.figure()
ax1=fig.add_subplot(2,2,1)
（2） 颜色、标记和线型
ax.plot(x,y,linestyle=’—‘,color=’g’,marker=’o’,label=’Default’)
（3）刻度标签和图例
Xlim、xticks、xticklabels分别控制图表的范围、刻度位置、刻度标签
修改x轴的刻度：set_xticks和set_xticklabels
Ax.legend(loc=’best’)添加图例
（4） 注解
（5） 保存：plt.savefig(‘figpath.svg’)
4.2 pandas中的绘图函数
（1） 线性图：S.plot()
（2） 柱状图：data.plot(kind=’bar’,ax=axes[0],color=’k’,alpha=0.7)
（3） 直方图和密度图： tips[‘tip_pct’]=tips[‘tip’]/tips[‘total_bill’] tips[‘tip_pct’].hist(bins=50)
（4） 散布图： plt.scatter()
五、数据规整化：清理、转换、合并与重塑
5.1 (1) 数据库风格的DataFrame合并
Pd.merge(x,y)将xy（交集）合并；pd.merge(x,y,how=’outer’)并集pd.merge(x,y,on=’key’)指定连接键
(2) 索引上的合并
pd.merge(left1,right1,left_on=’key’,right_index=True)索引作为连接键
(3) 轴向连接
np.concatenate([arr,arr],axis=1) 列加
np.concat([s1,s2,s3])默认按行加axis=0行axis=1列
(4)合并重叠数据
np.where(x,y,z)
series.combine_first()
(5)重塑和轴向旋转
Data.stack()将列旋转为行
Data.unstack()将行旋转为列
(6)将长格式转化为宽格式
Pivote=data.pivot(‘data’,’item’,’value’) pivoted.head()
5.2 数据转换
（1）移除重复数据
Data.duplicated()返回布尔型series，表示各行是否重复
Data.drop_duplicates()移除重复行的dataframe
（2）利用函数或映射进行数据转换
（3）替换值：传入参数可以是字典
Data.replace(-999,np.nan)
（4）重命名索引
（5）离散化和面元划分
Cat=pd.cut(ages,bins)
（6） 检测和过滤异常值
data[(np.abs(data)>3).any(1)]=np.sign(data)*3
（7） 排列和随机采样
（8） 计算指标/哑变量
5.3 字符串操作
（1） 对象方法
Val.split(‘,’)拆分数段；pices=[x.strip() for x in val.split(‘,’)
Strip ,rstrip,lstrip 去除空白符
（2）正则表达式 import re