前面我们学习了numpy,现在我们来学习一下pandas。
Python Data Analysis Library 或 pandas 主要用于处理类似excel一样的数据格式,其中有表头、数据序列号以及实际的数据,而numpy就仅仅包含了实际的数据。
安装
直接输入:
pip3 install pandas
最基本用法
import pandas as pd
s = pd.Series([1, 2, 5, 6])
print(s)
输出:
0 1
1 2
2 5
3 6
dtype: int64
我们可以看到pandas自动添加了数据的序列号。
自定义索引项和列名
import pandas as pd
import numpy as np
# 创建一个日期索引项
dates = pd.date_range("2017-01-04", periods=6)
print("dates=", dates)
# 创建一个类似excel表格一样的数据表,其中索引项为日期索引,列名为:a,b,c,d
data = pd.DataFrame(np.random.rand(6, 4), index=dates, columns=["a", "b", "c", "d"])
print("data=")
print(data)
输出:
dates= DatetimeIndex([\'2017-01-04\', \'2017-01-05\', \'2017-01-06\', \'2017-01-07\',
\'2017-01-08\', \'2017-01-09\'],
dtype=\'datetime64[ns]\', freq=\'D\')
data=
a b c d
2017-01-04 0.637641 0.756613 0.297506 0.692492
2017-01-05 0.319457 0.401690 0.550955 0.862642
2017-01-06 0.685646 0.007546 0.376774 0.735220
2017-01-07 0.767868 0.000718 0.799336 0.428242
2017-01-08 0.004777 0.292726 0.227704 0.117925
2017-01-09 0.946817 0.153245 0.154102 0.165621
看,输出了一个比较规整的电子表格。
上面这些命令包括需要哪些参数不需要特别记忆,如果你用idea的话会自动给你提示的。
默认索引号和列名
如果我们没有指定索引号和列名,pandas会自动以0,1,2这样的自然数来定义我们的索引号和列名,例如:
import pandas as pd
import numpy as np
data = pd.DataFrame(np.random.rand(6, 4))
print("data=")
print(data)
输出:
data=
0 1 2 3
0 0.515289 0.900554 0.490999 0.941186
1 0.706116 0.267078 0.870968 0.904068
2 0.002414 0.648418 0.579449 0.827671
3 0.473538 0.640514 0.564209 0.040902
4 0.052849 0.372015 0.613814 0.516763
5 0.484220 0.479558 0.007722 0.216598
map方式创建DataFrame
可以用一个map方式来创建DataFrame,这样相当于map中的key为列名,value为此列的数据列表:
import pandas as pd
import numpy as np
data = pd.DataFrame({
"A": np.array([1, 2, 3, 5]),
"B": ["test", "train", "go", "java"],
"C": "dog",
"D": 12
})
print("data=")
print(data)
输出为:
data=
A B C D
0 1 test dog 12
1 2 train dog 12
2 3 go dog 12
3 5 java dog 12
查看每列的数据类型
我想知道pandas中每列的数据类型,有点像了解数据库中表的字段类型,这可以通过dtypes属性获得:
import pandas as pd
import numpy as np
data = pd.DataFrame({
"A": np.array([1, 2, 3, 5]),
"B": ["test", "train", "go", "java"],
"C": "dog",
"D": 12
})
print(data.dtypes)
输出:
A int32
B object
C object
D int64
dtype: object
获得列名和索引
想要获得pandas中的列名和索引,只要使用columns和index属性就可以:
import pandas as pd
import numpy as np
data = pd.DataFrame({
"A": np.array([1, 2, 3, 5]),
"B": ["test", "train", "go", "java"],
"C": "dog",
"D": 12
})
print("列名:", data.columns)
print("索引:", data.index)
输出:
列名: Index([\'A\', \'B\', \'C\', \'D\'], dtype=\'object\')
索引: RangeIndex(start=0, stop=4, step=1)
使用describe()函数对数据快速统计汇总
import pandas as pd
import numpy as np
data = pd.DataFrame({
"A": np.array([1, 2, 3, 5]),
"B": ["test", "train", "go", "java"],
"C": "dog",
"D": 12
})
print(data.describe())
输出:
A D
count 4.000000 4.0
mean 2.750000 12.0
std 1.707825 0.0
min 1.000000 12.0
25% 1.750000 12.0
50% 2.500000 12.0
75% 3.500000 12.0
max 5.000000 12.0
其中就对可计算的列进行计数、求平均值、方差、最小值、最大值等。
pandas转置
相当于把电子表格中的行和列翻转一下。
import pandas as pd
import numpy as np
data = pd.DataFrame({
"A": np.array([1, 2, 3, 5]),
"B": ["test", "train", "go", "java"],
"C": "dog",
"D": 12
})
print(data.T)
输出:
0 1 2 3
A 1 2 3 5
B test train go java
C dog dog dog dog
D 12 12 12 12
这样索引项就变成了原先数据集中的列名。
排序
sort_index()可以按照索引项进行排序。
import pandas as pd
import numpy as np
data = pd.DataFrame({
"A": np.array([1, 2, 3, 5]),
"B": ["test", "train", "go", "java"],
"C": "dog",
"D": 12
})
# 按照索引项进行倒排
print("按照索引项进行倒排:")
print(data.sort_index(ascending=False))
# 对列名进行倒排
print("对列名进行倒排:")
print(data.sort_index(axis=1, ascending=False))
输出:
按照索引项进行倒排:
A B C D
3 5 java dog 12
2 3 go dog 12
1 2 train dog 12
0 1 test dog 12
对列名进行倒排:
D C B A
0 12 dog test 1
1 12 dog train 2
2 12 dog go 3
3 12 dog java 5
排序中的数据会跟着列或索引项进行调换顺序,因此数据不会错乱。
按照值排序
使用sort_values()函数对值进行排序,其中可以指定按照哪一列的数据进行排序的:
import pandas as pd
import numpy as np
data = pd.DataFrame({
"A": np.array([1, 2, 3, 5]),
"B": ["test", "train", "go", "java"],
"C": "dog",
"D": 12
})
print(data.sort_values(by=\'B\'))
输出:
A B C D
2 3 go dog 12
3 5 java dog 12
0 1 test dog 12
1 2 train dog 12