一行代码让你的python计算速度提高十倍

Posted 2021-06-04 BudingCode

Python语言近年来人气爆棚。它广泛应用于数据科学，人工智能，以及网络安全问题中，由于代码可读性较强，学习效率较高，吸引了许多非科班的同学进行学习。然而，使用Python一段时间以后，发现它在速度上完全没有优势可言，特别是计算密集型任务里，性能问题一直是Python的软肋。本文主要介绍了Python的JIT编译器Numba，能够在对代码侵入最少的情况下，极大加速计算核心函数的运行速度，适合数据分析业务相关的同学使用。

首先要回答这样一个问题：当运行同一个程序时，为什么Python会 比其他语言慢2到10倍？为什么我们无法将它变得更快？

以下是最主要的原因：

• “它是GIL（Global Interpreter Lock全局解释器锁）”

• “它是解释型语言而非编译语言”

• “它是动态类型语言

由于本文的着重点并不是解释Python速度慢的原因以及背后的逻辑，这部分就不深入探讨了，欢迎有兴趣的同学自行搜索🔍

Python的JIT编译器

为了兼具移植性和性能，聪明的工程师们发明了 JIT 这个东西，所谓的 JIT 就是说在解释型语言中，对于经常用到的或者说有较大性能提升的代码在解释的时候编译成机器码，其他一次性或者说没有太大性能提升的代码还是以字节码的方式执行。这样的话，就能在保证移植性的同时，又能让性能提升一大截，

JIT编译在代码运行时动态将Python代码编译为机器代码执行，由于避免了Python内置的解释器，运行速度会有很大提升。比较流行的JIT方案是Numba和Pypy，但由于Python的历史包袱和语法变化等原因，没有一个能够完美实现的方案。方案各自存在不同的优缺点，需要在根据使用领域选择合适的方案。

• Pypy支持全局的加速，但对C库支持不好，较为适合用于Web服务等事务型任务。
• Numba能够对某些函数和库进行加速，高性能的同时保持了Python的兼容性，但使用的范围会受到一定限制。
  

Numba快速学习

我们主要介绍Numba的基本用法，能够在对代码侵入最少的情况下，极大加速计算核心函数的运行速度，适合数据分析业务相关的同学使用。

Numba通过使用LLVM技术，将Python代码编译生成优化后的机器码，可以大幅提高代码执行效率。

对于Numba的学习，纽约大学提供了一套入门级别的视频，代码简单，纽约大学Numba快速学习，如果想要浏览中文文章欢迎继续往下看！

关于安装

首先是安装numba，根据python环境，运行不同的安装命令：

conda install numba
pip install numba

关于使用

一句话总结：使用Numba最简单的方式就是在函数定义前加@jit 或 @njit的装饰即可。

Numba通过在函数定义前加decorator(修饰符)来申明是否进行加速。如上文所说，最简单的使用方法是@jit。对于Numba的@jit有两种编译模式：nopython和object模式。

nopython模式会完全编译这个被修饰的函数，函数的运行与Python解释器完全无关，不会调用Python的C语言API。如果想获得最佳性能，推荐使用此种模式。同时由于@jit(nopython=True)太常用了，Numba提供了@njit修饰符，和这句话等价，方便使用。但这种模式要求函数中所有变量的类型都可以被编译器推导(一些基本类型，如不能是一些库或自己定义的数据类型等)，否则就会报错。

object模式中编译器会自动识别函数中循环语句等可以编译加速的代码部分，并编译成机器码，对于剩下不能识别的部分交给Python解释器运行。如果想获取最佳性能，避免使用这种方法(For best performance avoid using this mode!)。

如果没设置参数nopython=True，Numba首先会尝试使用nopython模式，如果因为某些原因无法使用，则会使用object模式。加了nopython后则会强制编译器使用nopython模式，但如果代码出现了不能自动推导的类型，有报错的风险。

实验提升

from numba import jit
import random, time

def monte_carlo_pi(sam):
    account = 0
    for i in range(sam):
        x = random.random()
        y = random.random()
        if (x ** 2 + y ** 2) < 1.0:
            account += 1
    return 4.0 * account / sam

@jit
def jit_monte_carlo_pi(sam):
    account = 0
    for i in range(sam):
        x = random.random()
        y = random.random()
        if (x ** 2 + y ** 2) < 1.0:
            account += 1
    return 4.0 * account / sam

loops = [100000, 1000000, 10000000, 100000000, 1000000000]

for loop in loops:
	startTime = time.time()
	monte_carlo_pi(loop)
	t = time.time() - startTime
	print('python {} loop: {}'.format(loop, t))

	startTime = time.time()
	jit_monte_carlo_pi(loop)
	t = time.time() - startTime
	print('numba {} loop: {}'.format(loop, t))

对于以上代码，运行的结果是：
python 100000    loop: 0.0469999313354
numba  100000    loop: 0.213999986649
python 1000000   loop: 0.478999853134
numba  1000000   loop: 0.0110001564026
python 10000000  loop: 4.82499980927
numba  10000000  loop: 0.107000112534
python 100000000 loop: 48.728000164
numba  100000000 loop: 1.05900001526
python 1000000000 loop: 489.142100134
numba  1000000000 loop: 11.01402001452

可以看到，jit编译后有约47倍的提升。循环次数越多，numba的加速效果就越明显。对于更复杂的计算函数，numba可能会有更好的效果。