2w+字长文，一篇文章扫盲PythonNumPy 和 Pandas，建议收藏！
Posted Python学习与数据挖掘
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了2w+字长文，一篇文章扫盲PythonNumPy 和 Pandas，建议收藏！相关的知识，希望对你有一定的参考价值。
作为简单易学的编程语言，想要入门还是比较容易的，今天我们来一篇超级长文，一次性扫盲Python、NumPy 和 Pandas，文末提供Python 技术交流群，欢迎加入，喜欢本文，点赞、收藏。
搭建语言环境
我们首先来了解下如何安装和搭建 Python 语言环境
Python 版本的选择
当前流行的 Python 版本有两个，2.X 和 3.X，由于 2.X 即将不再维护，所以我建议直接使用 3.X 版本作为你的主要版本。
IDE 的选择
目前市面上流行着很多的 Python 编辑器，比如 Sublime，Notebook++ 等，不过我还是推荐如下两个
PyCharm：这是一个跨平台的 Python 开发工具，不但拥有常规的调试、语法高亮，智能提示等功能外，还自带多个数据库连接器，使你在调试数据库的时候也能得心应手，不再忙于到处下载各种数据库客户端。
Jupyter：这个是一个 web 式的在线编辑器，每次运行一行代码，你都可以立即得到结果，非常方便，在代码调试阶段，用处无限。
Python 软件的安装
如果你是 Linux 或者 MacOS 操作系统，那么一般会自带 Python2.6 的版本。如果想要安装 3.X 的版本，需要自行编译安装，如果没有 Linux 操作基础的话，建议还是使用 Windows。
如果是 Windows 操作系统，可以直接到 Python 官网下载 .exe 安装包，一路下一步即可完成安装。
Python 基础语法
Hello World
相信大家都有这种经验，学习任何一门语言时，入门的都是输出 Hello World，下面我们就来看看如何使用 Python 来输入 Hello World
print("Hello World")
sum = 1 + 2
print("sum = %d" %sum)
>>>
Hello World
sum = 3
print 函数，用来在控制台打印输出，sum = 语法是声明变量并赋值，%d 是用来做字符串替换。
数据类型和变量
列表
list1 = ["1", "2", "test"]
print(list1)
list1.append("hello")
print(lists)
>>>
['1', '2', 'test']
['1', '2', 'test', 'hello']
list 是 Python 内置的一种数据类型，是一种有序的集合，可以随时添加和删除其中的元素。
元组
tuple1 = ("zhangsan", "lisi")
print(tuple1[0])
>>>
zhangsan
tuple 和 list 非常类似，但是 tuple 一旦初始化就不能修改.
字典
dict1 = {"name1": "zhangsan", "name2": "lisi", "name3": "wangwu"}
dict1["name1"]
>>>
'zhangsan'
Python 内置了字典：dict 全称 dictionary，在其他语言中也称为 map，使用键-值（key-value）存储，具有极快的查找速度。
集合
s = set([1, 2, 3])
print(s)
>>>
{1, 2, 3}
set 和 dict 类似，也是一组 key 的集合，但不存储 value。由于 key 不能重复，所以，在 set 中，没有重复的 key。
变量
变量的概念基本上和初中代数的方程变量是一致的，只是在计算机程序中，变量不仅可以是数字，还可以是任意数据类型。
a = 1
a = 3
print(a)
>>>
3
条件判断
age = 30
if age >= 18:
print('your age is', age)
print('good')
else:
Print('your are not belong here')
>>>
your age is 30
good
if … else… 是非常经典的条件判断语句，if 后面接条件表达式，如果成立，则执行下面的语句，否则执行 else 后面的语句。同时还要注意，Python 语言是采用代码缩进的方式来判断代码块的，一般是四个空格或者一个 tab，两者不要混用。
循环语句
names = {"zhangsan", "lisi", "wangwu"}
for name in names:
print(name)
>>>
lisi
zhangsan
wangwu
names 是一个集合，为可迭代对象，使用 for 循环，name 会依次被赋值给 names 中的元素值。
sum = 0
n = 99
while n > 0:
sum = sum + n
n = n - 2
print(sum)
>>>
2500
在循环内部变量 n不断自减，直到变为-1时，不再满足 while 条件，循环退出。
高级特性
切片
L = ['zhangsan', 'lisi', 'wangwu', 'zhaoliu']
print(L[1])
print(L[1:3])
>>>
lisi
['lisi', 'wangwu']
Python 中，下标都是从 0 开始的，且都是左闭右开区间
迭代
对于列表、元组和字典，都是可迭代对象，可以使用 for 来进行迭代取值
L = ['zhangsan', 'lisi', 'wangwu', 'zhaoliu']
D = {"zhangsan":1, "lisi": 2, "wangwu": 3, "zhaoliu": 4}
for l in L:
print(l)
print('\\n')
for k,v in D.items():
print("键:", k, ",", "值", v)
>>>
zhangsan
lisi
wangwu
zhaoliu键: zhangsan , 值 1
键: lisi , 值 2
键: wangwu , 值 3
键: zhaoliu , 值 4
对于字典，使用 items()，可是同时遍历键值对
函数
调用函数
Python 内置了很多有用的函数，我们可以直接调用。
>>> abs(100)
100
>>> abs(-20)
20
>>> abs(12.34)
12.34
>>> max(1, 2)
2
>>> max(2, 3, 1, -5)
3
在调用函数时，如果传入的参数有问题，程序会抛出异常。
这里包含了 Python 中所有的内置函数：
https://docs.python.org/zh-cn/3/library/functions.html
定义函数
在 Python 中，定义一个函数要使用def语句，依次写出函数名、括号、括号中的参数和冒号:，然后，在缩进块中编写函数体，函数的返回值用return语句返回。
def add(num1, num2):
return num1 + num2result = add(1,2)
print(result)
>>>
3
在代码中，定义了一个叫做 add 的函数，它会接收两个参数，并且会返回他们之和。函数定义之后，可以使用函数名称后面跟()来调用，如果函数有返回值，可以赋给一个变量来接收。
模块
调用模块
Python 本身就内置了很多非常有用的模块，只要安装完毕，这些模块就可以立刻使用。
import time
def sayTime():
now = time.time()
return nownowtime = sayTime()
print(nowtime)
>>>
1566550687.642805
使用 import 来导入模块，之后就可以调用该模块为我们提供的各种方法变量等。
模块说白了就是一组工具的集合，我们当然可以自己编写一些工具，然后组成自己的模块，供后面编程使用。
我们自己编写模块，一般目录结构如下
mytest
├─ __init__.py
├─ test1.py
└─ test2.py
现在我们就可以在其他的文件中引用并调用这两个 test 工具文件了
import mytest
mytest.test1
你应该注意到了 __init__.py 文件，这个文件可以是空文件，包含了 __init__.py 文件的文件夹就是一个”包“（Package）。如果我们需要像上面那样引用文件，就必须包含 __init__.py 文件。
安装第三方模块
在 Python 中，安装第三方模块，是通过包管理工具 pip 完成的。
一般来说，第三方库都会在 Python 官方的pypi.python.org网站注册，要安装一个第三方库，必须先知道该库的名称，可以在官网或者 pypi 上搜索，比如 Pillow 的名称叫Pillow，因此，安装 Pillow 的命令就是：
pip install Pillow
面向对象编程
类和实例
面向对象最重要的概念就是类（Class）和实例（Instance），必须牢记类是抽象的模板，比如 Student 类，而实例是根据类创建出来的一个个具体的“对象”，每个对象都拥有相同的方法，但各自的数据可能不同。
在 Python 中，使用 class 关键字来定义类
class Student(object):
pass
定义好类之后，就可以实例化该类了
zhangsan = Student()
zhangsan.age = 20
print(Student)
print(zhangsan)
print(zhangsan.age)
>>>
<class '__main__.Student'>
<__main__.Student object at 0x00EA7350>
20
此时，变量 zhangsan 就是类 Student 的一个实例了。同时我们还给 zhangsan 绑定了一个属性 age 并赋值。
请谨记面向对象三大基本要素：抽象，封装，继承。如果你当前对这些还没有太多的概念的话，也不要紧，你可以在后面的学习中慢慢体会。
IO 编程
读取文件，是后面要经常用到的操作，在 Python 中，使用 open 函数可以非常方便的打开一个文件
f = open('/Users/tanxin/test.txt', 'r')
f.read()
f.close()
标示符 ‘r’ 表示读，这样，我们就成功地打开了一个文件，然后使用 read 函数来读取文件内容，最后用 close 来关闭文件。
文件使用完毕后必须关闭，因为文件对象会占用操作系统的资源，并且操作系统同一时间能打开的文件数量也是有限的
使用 with 来方便的打开文件
with open('/Users/tanxin/test.txt', 'r') as f:
print(f.read())
with 语句帮助我们完成了 close 的过程
文件读取还有 readline() 和 readlins() 两个函数。readline() 一次读取一行数据，readlines() 一次读取所有内容并按行返回一个列表。
正则表达式
正则表达式是一个很大的学科，其中的内容是完全可以单独写满一本书的，我们这里只做些简单的介绍。
Python 中提供了 re 模块来做正则
import re
str1 = "010-56765"
res = re.match(r'(\\d{3})-(\\d{5})', str1)
print(res)
print(res.group(0))
print(res.group(1))
print(res.group(2))
>>>
<re.Match object; span=(0, 9), match='010-56765'>
010-56765
010
56765
match() 方法判断是否匹配，如果匹配成功，返回一个 Match 对象，否则返回 None
配合 group 方法，可以有效的提取出字字符串。
requests 库简介
requests 库，是一个非常常用的 HTTP 网络请求库，后面的爬虫课程，我们会大量的使用它。
import requests
r = requests.get('https://www.baidu.com')
r = requests.post('http://test.com/post', data = {'key':'value'})
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://test.com/get", params=payload)
此时的 r 是一个 response 对象，我们可以从中获取到相关信息
r.text # 获取响应内容
r.content # 以字节的方式读取响应信息
response.encoding = "utf-8" # 改变其编码
html = response.text # 获得网页内容
binary__content = response.content # 获得二进制数据
raw = requests.get(url, stream=True) # 获得原始响应内容
headers = {'user-agent': 'my-test/0.1.1'} # 定制请求头
r = requests.get(url, headers=headers)
cookies = {"cookie": "# your cookie"} # cookie 的使用
r = requests.get(url, cookies=cookies)
这里只是简单介绍了 Python 的语法，如果要深入学习，你还需要花费更多的精力。不过世上无难事，只怕肯攀登。不要一直停留在入门的阶段，平时多找些刷题的网站，比如 Leetcode，online Judge 等等，在刷题的同时，更能锻炼自己的编程思维和算法能力。
NunmPy
NumPy 不仅仅是 Python 科学计算中使用最多的库，还是 SciPy，Pandas 等库的基础，它提供了更加高级有效的数据结构，是专门为科学计算而生的库。
NumPy 通常与 SciPy（Scientific Python）和 Matplotlib（绘图库）一起使用， 这种组合广泛用于替代 MatLab，是一个强大的科学计算环境，有助于我们通过 Python 学习数据科学或者机器学习。
ndarray 对象
NumPy 最重要的一个特点是其 N 维数组对象 ndarray，它是一系列同类型数据的集合，以 0 下标为开始进行集合中元素的索引。
ndarray 内部组成
-
一个指向数据（内存或内存映射文件中的一块数据）的指针
-
数据类型或 dtype，描述在数组中固定大小值的格子
-
一个表示数组形状（shape）的元组，表示各维度大小的元组
-
一个跨度元组（stride），其中的整数指的是为了前进到当前维度下一个元素需要”跨过“的字节数
以上的概念，你可以在后面的学习中慢慢体会。
创建一个 ndarray 只需要调用 NumPy 的 array 函数即可
import numpy as np
a = np.array([1, 2, 2])
b = np.array([[1, 2], [5, 5], [7, 8]])
b[1,1]=10
print(a.shape)
print(b.shape)
print(a.dtype)
print(b)
>>>
(3,)
(3, 2)
int32
[[ 1 2]
[ 5 10]
[ 7 8]]
引用 numpy 库，调用 array 函数即可创建 ndarray。
创建一维数组只需要传入一个 list，创建多维数组，需要先把一个数组作为一个元素嵌套起来，再放入另一个数组当中。
提取 array 中的元素，可以使用切片的操作，b[1,1]。
使用 shape 属性来获取数组的形状（大小），如 b 数组为一个三行两列的数组。
使用 dtype 属性来获取数组中的数据类型。
数据类型
NumPy 支持的数据类型比 Python 内置的类型要多，下面罗列了一些常见类型
| 名称 | 描述 |
|---|---|
| bool_ | 布尔型数据类型（True 或者 False） |
| int_ | 默认的整数类型 |
| int32 | 整数（-2147483648 to 2147483647） |
| uint32 | 无符号整数（0 to 4294967295） |
| float32 | 单精度浮点数，包括：1 个符号位，8 个指数位，23 个尾数位 |
| float64 | 双精度浮点数，包括：1 个符号位，11 个指数位，52 个尾数位 |
数据类型对象（dtype）
数据类型对象可以用来创建符合我们期望数据结构的数组
numpy.dtype(object, align, copy)
-
object：要转换的数据类型对象
-
align：如果为 True，填充字段使其类似 C 的结构体
-
copy：复制 dtype 对象，如果为 False，则是对内置数据类型对象的引用
使用 dtype 创建结构数组
mydtype = np.dtype({
'names': ['name', 'age', 'sex'],
'formats': ['S32', 'i4', 'S32']
})
persons = np.array([
('zhangsan', 20, 'man'),
('lisi', 18, 'woman'),
('wangwu', 30, 'man')
],
dtype=mydtype)
print(persons)
>>>
[(b'zhangsan', 20, b'man') (b'lisi', 18, b'woman') (b'wangwu', 30, b'man')]
首先通过 dtype 函数定义一个结构类型，然后再使用 array 函数构建数组，dtype 参数使用我们定义的即可。
数组属性
NumPy 数组的维数称为秩（rank），一维数组的秩为 1，二维数组的秩为 2，以此类推。
在 NumPy 中，每一个线性的数组称为是一个轴（axis），也就是维度（dimensions）。比如说，二维数组相当于是两个一维数组，其中第一个一维数组中每个元素又是一个一维数组。所以一维数组就是 NumPy 中的轴（axis），第一个轴相当于是底层数组，第二个轴是底层数组里的数组。而轴的数量——秩，就是数组的维数。
很多时候可以声明 axis。axis=0，表示沿着第 0 轴进行操作，即对每一列进行操作；axis=1，表示沿着第1轴进行操作，即对每一行进行操作。
下面罗列了比较重要的 ndarray 对象属性
| 属性 | 说明 |
|---|---|
| ndim | 秩，即轴的数量或维度的数量 |
| shape | 数组的维度 |
| size | 数组元素的总个数 |
| dtype | 元素的类型 |
| itemsize | 每个元素的大小，以字节为单位 |
创建特殊数组
空数组
x = np.empty([3,2], dtype=int)
print(x)
>>>
[[0 0]
[0 0]
[0 0]]
numpy.empty 方法用来创建一个指定形状（shape）、数据类型（dtype）且未初始化的数组
0 数组
zero1 = np.zeros(5)
zero2 = np.zeros(4, dtype=int)
print(zero1)
print(zero2)
>>>
[0. 0. 0. 0. 0.]
[0 0 0 0]
1 数组
one1 = np.ones(3)
one2 = np.ones(4, dtype=float)
print(one1)
print(one2)
>>>
[1. 1. 1.]
[1. 1. 1. 1.]
从已有数组创建数组
numpy.asarray，从列表，元组，多维数组创建数组
list1 = [1, 3, 5]
tuple1 = (1, 2, 3)
one = np.ones((2,3), dtype=int)
array1 = np.asarray(list1)
array2 = np.asarray(tuple1)
array3 = np.asarray(one)
print(array1)
print(array2)
print(array3)
>>>
[1 3 5]
[1 2 3]
[[1 1 1]
[1 1 1]]
numpy.frombuffer，以流的形式读入转化成数组
str1 = b"Hello world"
buffer1 = np.frombuffer(str1, dtype='S1')
print(buffer1)
>>>
[b'H' b'e' b'l' b'l' b'o' b' ' b'w' b'o' b'r' b'l' b'd']
numpy.fromiter，可以从可迭代对象中建立数组
range1 = range(5)
iter1 = np.fromiter(range1, dtype=int)
print(iter1)
>>>
[0 1 2 3 4]
numpy.arange，从数值范围创建数组
myarray1 = np.arange(5)
print(myarray1)
>>>
[0 1 2 3 4]
numpy.linspace，建立一个等差数列的数组
myarray2 = np.linspace(1,9,5)
print(myarray2)
>>>
[1. 3. 5. 7. 9.]
数组操作
切片和索引
ndarray 对象的内容可以通过索引或切片来访问和修改，与 Python 中 list 的切片操作一样。
ndarray 数组可以基于 0 - n 的下标进行索引，切片对象可以通过内置的 slice 函数，并设置 start, stop 及 step 参数进行，从原数组中切割出一个新数组。
a = np.arange(10)
print(a)
s = slice(2,7,2) # 从索引 2 开始到索引 7 停止，间隔为2
print (a[s])
>>>
[0 1 2 3 4 5 6 7 8 9]
[2 4 6]
也可以使用冒号(:)来做切片
a = np.arange(10)
print(a)
b = a[2:7:2] # 从索引 2 开始到索引 7 停止，间隔为 2
print(b)
>>>
[0 1 2 3 4 5 6 7 8 9]
[2 4 6]
修改数组形状
nunpy.reshape，可以在不改变数据的条件下修改数组形状
a = np.arange(6)
print("原始数组：", a以上是关于2w+字长文，一篇文章扫盲PythonNumPy 和 Pandas，建议收藏！的主要内容，如果未能解决你的问题，请参考以下文章
2w字长文详细介绍 Python 处理日期与时间，这篇太给力了！