如何使用python timeit模块使用实践

Posted 2020-08-28

其实平时使用测试应用运行时间的情况 细算一下还真的很少。很久没有做性能优化的工作，不管是cProfile还是timeit模块都已经生疏了很久没有使用，我在以前的文章里面有提到过cPfile的性能测试使用，但是一直没有使用过这个更轻量级的运行时间测量库进行过仔细实践总结，今天就来总结一下。

 

从最简单的例子开始，比如我们想测试一个列表推导式究竟要比正常写for快多少。

import timeit

foooo = """
sum = []
for i in range(1000):
    sum.append(i)
"""

print timeit.timeit(stmt="[i for i in range(1000)]", number=100000)
print timeit.timeit(stmt=foooo, number=100000)

输出：

3.79257702827

9.0510661602

 

不难看出，使用列表推导式要比正常使用list追加元素 通过10w次循环会快上近5.3秒左右，速度快上近三倍。

 

timeit 模块抽象出了；两个可以直接使用的方法，包了一层可以让我们不用关心内部的实现，下面看一下模块里面的代码：

def timeit(stmt="pass", setup="pass", timer=default_timer,
           number=default_number):
    """Convenience function to create Timer object and call timeit method."""
    return Timer(stmt, setup, timer).timeit(number)

def repeat(stmt="pass", setup="pass", timer=default_timer,
           repeat=default_repeat, number=default_number):
    """Convenience function to create Timer object and call repeat method."""
    return Timer(stmt, setup, timer).repeat(repeat, number)

可以看到这两个方法都是对Timer类包了一层这几个参数：

stmt: 这个参数就是statement,可以把要进行计算时间的代码放在里面。他可以直接接受字符串的表达式，也可以接受单个变量，也可以接受函数。

setup:  这个参数可以将stmt的环境传进去。比如各种import和参数什么的。

timer: 这个参数一般使用不到，具体使用可以参看文档。

 

Timer类下面还有repeat和timeit方法 使用也非常方便就是 timeit.timeit 和  timeit.repeat。

一个就是上面例子的timeit，一个就是repeat 其实repeat就比timeit多了一个执行Timer次数的参数。这个执行次数会以数组的形式返回每次执行的时间 like this

import timeit

foooo = """
sum = []
for i in range(1000):
    sum.append(i)
"""

print timeit.repeat(stmt="[i for i in range(1000)]", repeat=2, number=100000)

输出
[4.466734170913696, 4.255025148391724]

我们可以根据此，对所有执行时间取min最小值，平均值，最大值得到我们想要的数据。感觉还是十分方便的。

 

贴一个稍微进阶的例子，就是用到了一下setup参数的例子，是我在测试protocol buffer python的时候的例子：

# coding: utf-8
import timeit


# 初始化类
x = """
say_hi.ParseFromString(p)
"""


y = """
simplejson.loads(x)
"""



print timeit.timeit(stmt=x, setup="import say_hi_pb2;"
                                  "say_hi = say_hi_pb2.SayHi();"
                                  "say_hi.id = 13423;"
                                  "say_hi.something = ‘axiba‘;"
                                  "say_hi.extra_info = ‘xiba‘;"
                                  "p =say_hi.SerializeToString()", number=1000000)

print timeit.timeit(stmt=y, setup="import simplejson; "
                                  "json={"
                                  "‘id‘: 13423,"
                                  "‘something‘: ‘axiba‘,"
                                  "‘extra_info‘: ‘xiba‘,"
                                  "};"
                                  "x = simplejson.dumps(json)", number=1000000