python常用序列listtuples及矩阵库numpy的使用

Posted 2020-10-29 守功

 

 

近期开始学习python机器学习的相关知识，为了使后续学习中避免编程遇到的基础问题，对python数组以及矩阵库numpy的使用进行总结，以此来加深和巩固自己以前所学的知识。

Section One：Python数组的使用

在python中，数组这个概念其实已经被淡化了，取之的是元组和列表，下面就列表和元组进行相关的总结和使用。

　　Subsection One: List

　　list列表本质是一种序列类型的数据结构，有点类似于C/C++中所学的数组，但又不同。他们的相同之处在于，二者中的每个元素都分配有一个索引值来进行访问，如：

1 #python list
2 list1 = [\'physics\', \'chemistry\', 1997, 2000]
3 print(list1[0])

View Code

而在C/C++中我们知道，数组也可以通过这种数组名加索引值的方式来访问，在此不做赘述。

但是，细心的话，我们会发现，python中的列表与C/C++中有所不同，它可以包含不同的数据类型，而C/C++中则不可以。此外，在上面的代码中，我们可以看到，二者有着相同的创建方式。

但在python中，对于list列表类型的访问，有着不同的方式，下面就列表的访问进行总结：

 1 """List:
 2 --------------------------------
 3 """
 4 # create a list
 5 list1 = [\'physics\', \'chemistry\', 1997, 2000]
 6 
 7 # two methods to access a list as follows:
 8 print "list1[0]", list1[0] 
 9 print "list1[1:4]", list1[1:4]
10 
11 print "list1[-1]", list1[-1]
12 print "list1[-2]", list1[-2]
13 
14 print "list1[1:]", list1[1:]

View Code

 

从上面两种方式，其实可以看到，python中的列表可以通过"起始索引：终止索引（可选）"的方式，来直接访问列表中的一串数据，这在C/C++中是无法做到的，这给我们带来极大的便利性，加上终止索引，表示访问从起始索引到终止索引之间的全部数据，不加则意味着要访问从起始索引到该列表末尾的全部数据。

此外，在列表中，索引值为负代表着从列表末尾来访问这个列表，图上图三、四例子可以看到。

此外，python中对于列表，引入了以下几种方法来更新和删除列表，并赋予几种访问列表属性的方法。

# update and delete 
list1.append(\'Google\')
print list1

列表可以通过append方法，往列表的末尾添加新的元素，在list1列表的基础上，这里添加了一个叫做google的字符串元素。

del list1[2]
print "after deleting value at index 2", list1

View Code

可以看到，使用del函数将索引为2的数据删除了，此外，del函数还能结合之前提到的访问数组的方式来删除相关元素，如：

del list1[1:]
print "after deleting value by list1[1:]", list1

View Code

同理，采用起始index：终止index的方式，也是能够实现删除列表中一段数据的。

此外，python中提供了一个len函数，来获取一个列表的长度，使用"+"操作符能够实现不同数组之间的合并，使用"*"操作符实现创建包含n个相同元素的列表，以及一些循环和遍历方式来确定数据是否在列表中，下面给出相关的操作：

"""List:
--------------------------------
"""
# create a list
list1 = [\'physics\', \'chemistry\', 1997, 2000]
list2 = [1, 2, 3 , 4]

l = len(list1)
print "access len function to get the length of list1"
print l

# + operator
print list1 + list2

list3 = list1 + list2

print "list3:", list3

# * operator
list4 = [\'hhhh\'] * 4
print list4

#traverse
print "traverse list1:"
for x in list1:
    print x

#confirm x in list
print "confirm x in list"
print 2 in list1
print 1997 in list1

View Code

此外，还可以通过min和max函数来获取列表的最大最小值，count函数用以计算某元素在列表中的出现次数，remove来移除匹配到的数据，sort函数进行排序，reverse函数进行逆序，这些可以在list的官方文档中查询到。

　　Subsection Two: 元组

　　元组的创建根列表的很类似，但是它用括号进行创建：

"""
Tuples
------------------------------
"""

tup1 = (1, 2, 3, "Google")
print tup1

tup2 = (\'flesh\',)
print tup2

View Code

细心的小伙伴们可能会看到，我在创建第二个tuples的时候，里面虽然只有一个元素，但是，我还是用了一个逗号，其实，这是很有必要的，虽然不加也不会有编译错误，在这部分代码中。但是，在其他情况则不一定了，比如，我们使用元组作为返回参数，如果不加逗号，但是返回的元组中只有一个数据，比如26，那么，计算机就会因为无法识别该元素是数字26还是元组26。因此，加上是必要的，也有助于我们养成良好的编程习惯。

元组的访问呢与列表是一样的，因为它们俩都是python中最为常见的序列结构，在这里不做赘述，有兴趣的小伙伴可以自己去尝试一下下，值得注意的是，访问时的形式与列表的相同，不是L(index)的方式，而是L[index]。

此外，在元组中，对相关数据的修改是非法的，如下所示：

print "modify the data at index 2"
tup1[2] = 100
print tup1

View Code

所以给位小伙伴们在使用元组时一定要注意呀！

但是元组中，可以使用"+"以及"*"两个操作符来进行对元组的修改。

其余的相关方法如len等，而这类似，可以通过查阅文档来了解。

Section Two: Numpy库的使用（后续补充，要吃饭了23333）

补充：

Numpy是python中的矩阵库，可以方便的让我们学习。

可以使用cmd命令行来安装该库，命令如下：

pip install Numpy

View Code

安装完成后，即可使用。python提供了一个pydoc命令，可以用于查看本地所安装的python库，也是在cmd命令行中输入。

python -m pydoc -p 1234

-p指定启动的服务的端口号，可以随意指定不冲突的端口号

-m则是py中的一种工作模式了

1234就是-p下指定的一个端口号。运行后cmd会出现这样的结果：

然后根据所给的url直接在浏览器中输入，就可以访问到本地的库文档，个人比较喜欢直接查文档的方式进行学习。

该界面中包含numpy库下辖的多个类以及各个类中所包含的函数模块，并在每个接口部分，给出了相应的使用案例。

下面给出numpy的使用：

numpy的调用，与其他库文件的调用一样，采用import方式进行调用：

import numpy as np

通过这种方式，可以将本地的numpy库，导入当前的py文件中进行使用。此外，numpy给python的学习者以极大的便利来使用矩阵，尤其是其所提供的help函数，能够在使用者不知道或者忘记怎么使用其内部函数的时候，给予帮助。

调用方式如下：

help（function name）

在这里我以下面这个例子为例：

1 """
2 Numpy Learning
3 ------------------------------------------------------
4 """
5 
6 import numpy as np
7 
8 help(np.sort)

View Code

sort函数是numpy中自带的一个排序函数，当运行help方法进行获取他的使用后，就可以在console框中得到相应的调用案例：

这种方式能够在一定程度上提高我们查询文档的速度。

对于矩阵的使用，可以自行生成，也可以借助numpy中所带的相关类进行获取，如Datasource，该类可以通过如下方式导入进行使用

from numpy import DataSource

导入后，就可以直接进行调用，以鸢尾花数据库中的数据为例：

实例化DataSource对象以后，该对象包含相对应的方法，可以在上文中提到的本地库函数界面中查询到，典型的就有exists方法，用以判断访问的数据是否存在。

 1 """
 2 Numpy Learning
 3 ------------------------------------------------------
 4 """
 5 
 6 import numpy as np
 7 from numpy import DataSource
 8 
 9 # method to get data
10 url_name = \'https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data\'
11 repos = DataSource()
12 print repos.exists(url_name)

View Code

运行后输出为True，说明存在，我们可以直接通过url_name来访问相应的数据。

 1 """
 2 Numpy Learning
 3 ------------------------------------------------------
 4 """
 5 
 6 import numpy as np
 7 from numpy import DataSource
 8 
 9 # method to get data
10 # url name to access
11 url_name = \'https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data\'
12 ds = DataSource()
13 dataset = ds.open(url_name, mode=\'r\')
14 
15 for key in dataset:
16     print key

View Code

数据的访问这里选择只读形式，然后通过for循环对获取的数据进行解析输出：

这种方式获取的数据存在一定的局限性，因为每个key其实是一个list对象，其中数据全部为字符串型数据。进一步的使用则需要对数据进行解析，可以简单的通过pandas数据库来获取整理数据，这个库是python中的一个数据分析库，事倍功半，pandas的使用，将会在后续另一篇blog中进行叙述。本文采用一些线性代数中的简单实例，来使用numpy矩阵库。

 ex1：求解下列线性方程：

通常，线性方程可以表示成Ax = b的形式，A即为线性方程组的系数矩阵，b即为右侧的值构成的列向量。则可以通过在方程两边同乘以系数矩阵的逆矩阵来求得x的解。在这里给出我手解得到的值x1=1;x2=x3=0。

下面借助numpy进行求解，代码如下：

 1 #coding:utf-8
 2 """
 3 Numpy Learning
 4 ------------------------------------------------------
 5 """
 6 
 7 import numpy as np
 8 import numpy.linalg as lg
 9 
10 # create an matrix
11 """
12 np.array(parameter matrix)
13 the matrix can be one-dimensional or multi-dimensional
14 It\'s worth noting that if matrix is one-dimensional, the fellow method 
15 can be used:
16     np.array([1,2,3,4])
17 else like the given sample
18 """
19 # A = np.array([1, 2, 3, 4])
20 # print "onr-dimensional matrix: "
21 # print A
22 # A = np.array([1, 2, 3, 4])
23 A = np.array([[1, 2, 3], [2, 2, 5], [3, 5, 1]])
24 b = np.array([[1], [2], [3]])
25 
26 A_inv = lg.inv(A)
27 
28 # x = np.dot(A_inv, b)
29 x = A_inv.dot(b)
30 print "x is calculated by dot function:"
31 print x
32 # print "x is calculated by * operation: "
33 # print A_inv * b
34 
35 print("The inverse of A is :")
36 print A_inv
37 print("Column vector b is :")
38 print b
39 print("The result of A_inv * b is :")
40 print A_inv * b
41 
42 print "The examples of * operator :"
43 a = np.array([[1, 2, 3], [2, 2, 5], [3, 5, 1]])
44 b = np.array([[1], [2], [3]])
45 print a * b
46 
47 # error
48 # a = np.array([[1, 2, 3], [2, 2, 5], [3, 5, 1]])
49 # b = np.array([[1], [2]])
50 # print a * b
51 
52 # error
53 # a = np.array([[1, 2, 3], [2, 2, 5], [3, 5, 1]])
54 # b = np.array([[1, 2], [2, 2], [3, 2]])
55 # print a * b

View Code

代码中给出了使用numpy创建矩阵的两种方式，一种是创建多维矩阵另一种则是创建一维的矩阵，即行向量。可以看到，当创建行向量的时候，只需要传入一个list类型的对象即可，而创建多维矩阵的时候，需要以行向量作为一个list的元素构成一含有多个子list的一个list作为参数传递进去，以此来创建矩阵。

在这里用到了numpy底下linalg中的一个方法即inv方法，用于求矩阵的逆矩阵。需要注意的是，numpy中，对" * "、" / "、" - "、" + "进行了重载，以此来满足矩阵的运算需要，但是，在这些运算符中，" * "运算符不同于其他工具中的功能，它实现的不是矩阵的点乘，而是对矩阵的元素进行操作，即，当两个矩阵a、b的行相同，且当矩阵a或b的列满足矩阵a的列数等于矩阵b的列数，或者矩阵a或者b的列数等于1时，两个矩阵中的元素进行操作，上述代码的运行结果可以很直观的看到这一点。

上述代码的运行结果如下所示：

从上述代码可以看到，矩阵的点乘是每个numpy矩阵对象自带的方法，可以通过np.dot(parameter A, parameter B)的方式，也可以直接A.dot(B)。而求逆运算则包含在linalg模块中。

此外，在每个numpy对象中包含以下几种属性：ndim、shape、size、dtype、itemsize以及data，下面以ex1线性方程组的系数矩阵A为例来输出这些属性。

 1 A = np.array([[1, 2, 3], [2, 2, 5], [3, 5, 1]])
 2 print "The metrix A"
 3 print A
 4 print "A.ndim: "
 5 print A.ndim
 6 print "A.shape: "
 7 print A.shape
 8 print "A.size: "
 9 print A.size
10 print "A.dtype: "
11 print A.dtype
12 print "A.itemsize"
13 print A.itemsize
14 print "A.data"
15 print A.data

View Code

运行上述代码可以得到如下结果：

从上述结果可知，indim属性表征的是一个矩阵的维度，即一个矩阵中的元素最多能用多少个矩阵下标来表示，在这里，由于是二维矩阵，因此，该值为2。如果是三维矩阵，那么一个元素需要3个索引值来表示，那么indim属性值也就为3。shape属性表示的是n*m矩阵的尺寸，在这里是个3*3矩阵，因此该值为（3， 3），则该值的长度即为indim值。size表示的是这个矩阵中包含的元素的个数，该属性与shape属性有着相同的表征含义。dtype则表示的是矩阵中元素的数据类型。itemsize则表示的是一个元素的字节数，在这里由于是32位整型，因此，该值为32/8 = 4。data属性表示的是矩阵所对应的缓存中的实际数据，一般来说是用不到这个属性的。

 除了以上内容，我们在学习线性代数的过程中，通常会遇到一些计算的小技巧，比如借助单位矩阵来求一些矩阵等，下面还是以线代中的一些例子为例。

ex2:

上题中需要用到一个单位矩阵E，在numpy中，提供了相应的方法来生成一定要求的矩阵，下面结合例子来调用输出这些方法。

首先，给出numpy中自带的一些创建特殊矩阵的方法：

 1 # Create an array full of zeros, the type of parameter likes np.shape.
 2 Zero = np.zeros((3, 3))
 3 print "Zero array: "
 4 print Zero
 5 
 6 # The function ones creates an array full of ones
 7 ones = np.ones((4, 4))
 8 print "Ones array: "
 9 print ones
10 
11 # The function empty creates an array whose initial content is
12 # random and depends on the state of the memory. By default, 
13 # the dtype of the created array is float64.
14 
15 Empty = np.empty((3, 3))
16 print "Empty array: "
17 print Empty
18 
19 # To creates sequences of numbers, this function
20 # analogous to range  that returns arrays instead of lists.
21 Sequences = np.arange(10, 30, 2)
22 print "Sequences array: "
23 print Sequences
24 
25 # The function creates a sequences array by predicting the 
26 # number of elements obtained.
27 Linspace = np.linspace(10, 30, 25)
28 print "Linspace array: "
29 print Linspace
30 
31 # The function creates a N-th order identity matrix.
32 E = np.eye(4)
33 print "E array: "
34 print E

View Code

运行以上代码可以得到如下输出结果：

从上图可以看到:

• np.zeros(parameter A)的方式，可以创建一个n*m型的零矩阵。这个A类似之前输出的属性shape，一个元组形式的参数，当然，n*m只是举例说明，实际可以是多维的，如(i, j, k)。
• np.ones(parameter A)与zeros（）函数相同，所传参数也是一个元组类型数据，只是结果有所不同，生成的是一个全1的矩阵。
• np.empty(parameter A)创建的是一个随机数矩阵，所传参数与zeros和ones相同，只是生成的结果是一个随机数构成的矩阵，内部元素的数据与内存有关，数据类型默认是64位浮点型。
• np.arange(parameter A)创建的是一个等差序列list，参数A是一个包含三个数据的元组，(a,b,c)，[a，b)为这个arange的范围，左闭右开区间，即不包括b的，步长为c的一个序列。
• np.linspace(parameter A)则是创建一个等差序列list，与arange不同的是，这里参数A依旧是(a, b, c)，但是，这个元组中的c变量表示的不是步长，而是从a到b这个左开右闭区间内，所包含的数的个数。
• np.eye(parameter A)创建的一个N阶的单位矩阵，参数A为一个整型数据，表示的是单位矩阵的阶数。

此外，numpy中创建的矩阵也是可以对其进行python中的切片和迭代操作的。

结合以上的内容，可以非常方便的创建一个单位矩阵E，进而求解所给出的那道题。代码如下所示：

1 A = np.array([[1, 0, 0, 0], [-2, 3, 0, 0],
2              [0, -4, 5, 0], [0, 0, -6, 7]])
3 
4 E = np.eye(4)
5 
6 C = lg.inv((E + A))
7 B = C.dot((E - A))
8 E_add_B_inv = lg.inv((E + B))
9 print E_add_B_inv

View Code

运行上述代码，即可求得：

可以看到，所求结果与手算结果相一致，第四行第二列的那个数值直接视为0。

补充：

在numpy中，每个np对象还包含转置操作：

1 A = np.array([[1, 0, 0, 0], [-2, 3, 0, 0],
2              [0, -4, 5, 0], [0, 0, -6, 7]])
3 print "The transposition of A: "
4 print A.T

View Code

得到结果如下所示：

 

以上是目前的我本人所需要用到的一些numpy的知识点，后续随着学习的深入会继续补充该文。还有更多的内容，中文版的入门教程可以参考这篇博客https://www.cnblogs.com/qflyue/p/8244331.html

英文版的可以直接查官方的文档了

https://docs.scipy.org/doc/numpy-dev/user/quickstart.html