python numpy 基础教程

Posted 2020-09-27

Numpy简介

1.Numpy是什么

非常easy。Numpy是Python的一个科学计算的库。提供了矩阵运算的功能，其一般与Scipy、matplotlib一起使用。事实上，list已经提供了类似于矩阵的表示形式，只是numpy为我们提供了很多其它的函数。

假设接触过matlab、scilab。那么numpy非常好入手。

在下面的代码演示样例中。总是先导入了numpy：（通用做法import numpu as np 简单输入）

>>> import numpy as np
>>> print np.version.version
1.6.2

2. 多维数组

多维数组的类型是：numpy.ndarray。

使用numpy.array方法

以list或tuple变量为參数产生一维数组：

>>> print np.array([1,2,3,4])
[1 2 3 4]
>>> print np.array((1.2,2,3,4))
[ 1.2  2.   3.   4. ]
>>> print type(np.array((1.2,2,3,4)))
<type 'numpy.ndarray'>

以list或tuple变量为元素产生二维数组或者多维数组：

>>> x = np.array(((1,2,3),(4,5,6)))
>>> x
array([[1, 2, 3],
       [4, 5, 6]])
>>> y = np.array([[1,2,3],[4,5,6]])
>>> y
array([[1, 2, 3],
       [4, 5, 6]])

numpy数据类型设定与转换

numpy ndarray数据类型能够通过參数dtype 设定。并且能够使用astype转换类型。在处理文件时候这个会非常有用。注意astype 调用会返回一个新的数组，也就是原始数据的一份拷贝。

numeric_strings2 = np.array(['1.23','2.34','3.45'],dtype=np.string_)

numeric_strings2
Out[32]: 
array(['1.23', '2.34', '3.45'], 
      dtype='|S4')

numeric_strings2.astype(float)
Out[33]: array([ 1.23,  2.34,  3.45])

numpy索引与切片

index 和slicing ：第一数值类似数组横坐标。第二个为纵坐标

>>> x[1,2]
6
>>> y=x[:,1]
>>> y
array([2, 5])

涉及改变相关问题，我们改变上面y是否会改变x？这是特别须要关注的。

>>> y
array([2, 5])
>>> y[0] = 10
>>> y
array([10,  5])
>>> x
array([[ 1, 10,  3],
       [ 4,  5,  6]])

通过上面能够发现改变y会改变x ，因而我们能够判断，y和x指向是同一块内存空间值，系统没有为y 新开辟空间把x值赋值过去。

arr = np.arange(10)

arr
Out[45]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

arr[4]
Out[46]: 4

arr[3:6]
Out[47]: array([3, 4, 5])

arr[3:6] = 12

arr
Out[49]: array([ 0,  1,  2, 12, 12, 12,  6,  7,  8,  9])

如上所看到的：当将一个标量赋值给切片时。该值会自己主动传播整个切片区域，这个跟列表最重要本质差别，数组切片是原始数组的视图，视图上不论什么改动直接反映到源数据上面。

思考为什么这么设计？ Numpy 设计是为了处理大数据，假设切片採用数据复制话会产生极大的性能和内存消耗问题。

假如说须要对数组是一份副本而不是视图能够例如以下操作：

arr_copy = arr[3:6].copy()

arr_copy[:]=24

arr_copy
Out[54]: array([24, 24, 24])

arr
Out[55]: array([ 0,  1,  2, 12, 12, 12,  6,  7,  8,  9])

再看下对list 切片改动

l=range(10)

l
Out[35]: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

l[5:8] = 12
Traceback (most recent call last):

  File "<ipython-input-36-022af3ddcc9b>", line 1, in <module>
    l[5:8] = 12

TypeError: can only assign an iterable


l1= l[5:8]

l1
Out[38]: [5, 6, 7]

l1[0]=12

l1
Out[40]: [12, 6, 7]

l
Out[41]: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

这里设计到python 中深浅拷贝，当中切片属于浅拷贝，详细參考：python深浅拷贝

多维数组索引、切片

arr2d = np.arange(1,10).reshape(3,3)

arr2d
Out[57]: 
array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])

arr2d[2]
Out[58]: array([7, 8, 9])

arr2d[0][2]
Out[59]: 3

arr2d[0,2]
Out[60]: 3

布尔型索引

这样的类型在实际代码中出现比較多，关注下。

names = np.array(['Bob','joe','Bob','will'])

names == 'Bob'
Out[70]: array([ True, False,  True, False], dtype=bool)

data
Out[73]: 
array([[ 0.36762706, -1.55668952,  0.84316735, -0.116842  ],
       [ 1.34023966,  1.12766186,  1.12507441, -0.68689309],
       [ 1.27392366, -0.43399617, -0.80444728,  1.60731881],
       [ 0.23361565,  1.38772715,  0.69129479, -1.19228023],
       [ 0.51353082,  0.17696698, -0.06753478,  0.80448168],
       [ 0.21773096,  0.60582802, -0.46446071,  0.83131122],
       [ 0.50569072,  0.04431685, -0.69358155, -0.9629124 ]])

data[data < 0] = 0

data
Out[75]: 
array([[ 0.36762706,  0.        ,  0.84316735,  0.        ],
       [ 1.34023966,  1.12766186,  1.12507441,  0.        ],
       [ 1.27392366,  0.        ,  0.        ,  1.60731881],
       [ 0.23361565,  1.38772715,  0.69129479,  0.        ],
       [ 0.51353082,  0.17696698,  0.        ,  0.80448168],
       [ 0.21773096,  0.60582802,  0.        ,  0.83131122],
       [ 0.50569072,  0.04431685,  0.        ,  0.        ]])

上面展示通过布尔值来设置值的手段。

数组文件输入输出

在跑实验时常常须要用到读取文件里的数据，事实上在numpy中已经有成熟函数封装好了能够使用

将数组以二进制形式格式保存到磁盘。np.save 、np.load 函数是读写磁盘的两个主要函数。默认情况下，数组以未压缩的原始二进制格式保存在扩展名为.npy的文件里

arr = np.arange(10)
np.save('some_array',arr)

np.load('some_array.npy')
Out[80]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

存取文本文件：

文本中存放是聚类须要数据，直接能够方便读取到numpy array中，省去一行行读文件繁琐。

arr = np.loadtxt('dataMatrix.txt',delimiter=' ')

arr
Out[82]: 
array([[ 1.        ,  1.        ,  1.        ,  1.        ,  1.        ,
         0.8125    ],
       [ 0.52882353,  0.56271186,  0.48220588,  0.53384615,  0.61651376,
         0.58285714],
       [ 0.        ,  0.        ,  0.        ,  1.        ,  1.        ,
         1.        ],
       [ 1.        ,  0.92857143,  0.91857143,  1.        ,  1.        ,
         1.        ],
       [ 1.        ,  1.        ,  1.        ,  1.        ,  1.        ,
         1.        ],
       [ 0.05285714,  0.10304348,  0.068     ,  0.06512821,  0.05492308,
         0.05244898],
       [ 0.04803279,  0.08203125,  0.05516667,  0.05517241,  0.04953488,
         0.05591549],
       [ 0.04803279,  0.08203125,  0.05516667,  0.05517241,  0.04953488,
         0.05591549]])

np.savetxt 运行相反的操作。这两个函数在跑实验载入数据时能够提供非常多便利！。！

使用numpy.arange方法

>>> print np.arange(15)
[ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14]
>>> print type(np.arange(15))
<type 'numpy.ndarray'>
>>> print np.arange(15).reshape(3,5)
[[ 0  1  2  3  4]
 [ 5  6  7  8  9]
 [10 11 12 13 14]]
>>> print type(np.arange(15).reshape(3,5))
<type 'numpy.ndarray'>

使用numpy.linspace方法

比如，在从1到10中产生20个数：

>>> print np.linspace(1,10,20)
[  1.           1.47368421   1.94736842   2.42105263   2.89473684
   3.36842105   3.84210526   4.31578947   4.78947368   5.26315789
   5.73684211   6.21052632   6.68421053   7.15789474   7.63157895
   8.10526316   8.57894737   9.05263158   9.52631579  10.        ]

使用numpy.zeros，numpy.ones。numpy.eye等方法能够构造特定的矩阵

>>> print np.zeros((3,4))
[[ 0.  0.  0.  0.]
 [ 0.  0.  0.  0.]
 [ 0.  0.  0.  0.]]
>>> print np.ones((3,4))
[[ 1.  1.  1.  1.]
 [ 1.  1.  1.  1.]
 [ 1.  1.  1.  1.]]
>>> print np.eye(3)
[[ 1.  0.  0.]
 [ 0.  1.  0.]
 [ 0.  0.  1.]]

获取数组的属性：

>>> a = np.zeros((2,2,2))
>>> print a.ndim   #数组的维数
3
>>> print a.shape  #数组每一维的大小
(2, 2, 2)
>>> print a.size   #数组的元素数
8
>>> print a.dtype  #元素类型
float64
>>> print a.itemsize  #每一个元素所占的字节数
8

Memory layout

The following attributes contain information about the memory layout of the array:

ndarray.flags	Information about the memory layout of the array.
ndarray.shape	Tuple of array dimensions.
ndarray.strides	Tuple of bytes to step in each dimension when traversing an array.
ndarray.ndim	Number of array dimensions.
ndarray.data	Python buffer object pointing to the start of the array’s data.
ndarray.size	Number of elements in the array.
ndarray.itemsize	Length of one array element in bytes.
ndarray.nbytes	Total bytes consumed by the elements of the array.
ndarray.base	Base object if memory is from some other object.

Array methods

An ndarray object has many methods which operate on or with the array in some fashion, typically returning an array result. These methods are briefly explained below. (Each method’s docstring has a more complete description.)

For the following methods there are also corresponding functions in numpy: all, any, argmax, argmin, argpartition, argsort, choose, clip,compress, copy, cumprod, cumsum, diagonal, imag, max, mean, min, nonzero, partition, prod, ptp, put, ravel, real, repeat, reshape, round,searchsorted, sort, squeeze, std, sum, swapaxes, take, trace, transpose, var.

很多其它Array的相关方法见：http://docs.scipy.org/doc/numpy/reference/arrays.ndarray.html

用到比較多函数演示样例：

>>> x
array([[[ 0,  1,  2],
        [ 3,  4,  5],
        [ 6,  7,  8]],

       [[ 9, 10, 11],
        [12, 13, 14],
        [15, 16, 17]],

       [[18, 19, 20],
        [21, 22, 23],
        [24, 25, 26]]])
>>> x.sum(axis=1)
array([[ 9, 12, 15],
       [36, 39, 42],
       [63, 66, 69]])
>>> x.sum(axis=2)
array([[ 3, 12, 21],
       [30, 39, 48],
       [57, 66, 75]])

>>> np.sum([[0, 1], [0, 5]])
6
>>> np.sum([[0, 1], [0, 5]], axis=0)
array([0, 6])
>>> np.sum([[0, 1], [0, 5]], axis=1)
array([1, 5])

合并数组

使用numpy下的vstack（垂直方向）和hstack（水平方向）函数：

>>> a = np.ones((2,2))
>>> b = np.eye(2)
>>> print np.vstack((a,b))
[[ 1.  1.]
 [ 1.  1.]
 [ 1.  0.]
 [ 0.  1.]]
>>> print np.hstack((a,b))
[[ 1.  1.  1.  0.]
 [ 1.  1.  0.  1.]]

 

看一下这两个函数有没有涉及到浅拷贝这样的问题：

>>> c = np.hstack((a,b))
>>> print c
[[ 1.  1.  1.  0.]
 [ 1.  1.  0.  1.]]
>>> a[1,1] = 5
>>> b[1,1] = 5
>>> print c
[[ 1.  1.  1.  0.]
 [ 1.  1.  0.  1.]]

通过上面能够知道，这里进行是深拷贝。而不是引用指向同一位置的浅拷贝。

深拷贝数组

数组对象自带了浅拷贝和深拷贝的方法，可是一般用深拷贝多一些：

>>> a = np.ones((2,2))
>>> b = a
>>> b is a
True
>>> c = a.copy()  #深拷贝
>>> c is a
False

 

主要的矩阵运算

转置：

>>> a = np.array([[1,0],[2,3]])
>>> print a
[[1 0]
 [2 3]]
>>> print a.transpose()
[[1 2]
 [0 3]]

numpy.linalg模块中有非常多关于矩阵运算的方法：

特征值、特征向量：

>>> a = np.array([[1,0],[2,3]])

>>> nplg.eig(a)
(array([ 3.,  1.]), array([[ 0.        ,  0.70710678],
       [ 1.        , -0.70710678]]))