每天一点算法之timeit模块

Posted 2020-10-18 向前跑，带着冷眼与嘲笑

　　算法是计算机处理信息的本质，因为计算机程序本质上是一个算法来告诉计算机确切的步骤来执行一个指定的任务。一般地，当算法在处理信息时，会从输入设备或数据的存储地址读取数据，把结果写入输出设备或某个存储地址供以后再调用。

　　算法是独立存在的一种解决问题的方法和思想。

　　一道题引入如果 a+b+c=1000，且 a^2+b^2=c^2（a,b,c 为自然数），如何求出所有a、b、c可能的组合?

　　解决思路1：

import time
start_time = time.time()
# 注意是三重循环
for a in range(0, 1001):
    for b in range(0, 1001):
        for c in range(0, 1001):
            if a**2 + b**2 == c**2 and a+b+c == 1000:
                print("a, b, c: %d, %d, %d" % (a, b, c))
end_time = time.time()
print("elapsed: %f" % (end_time - start_time))
print("complete!")
#############################
运行结果：
a, b, c: 0, 500, 500
a, b, c: 200, 375, 425
a, b, c: 375, 200, 425
a, b, c: 500, 0, 500
elapsed: 214.583347
complete!

枚举法

　　算法的五大特性：

　　1.输入: 算法具有0个或多个输入；

　　2.输出: 算法至少有1个或多个输出；

　　3.有穷性: 算法在有限的步骤之后会自动结束而不会无限循环，并且每一个步骤可以在可接受的时间内完成；

　　4.确定性：算法中的每一步都有确定的含义，不会出现二义性；

　　5.可行性：算法的每一步都是可行的，也就是说每一步都能够执行有限的次数完成。

　　根据上面的枚举法可以看出，多层嵌套的for循环是非常消耗时间的，类似于笛卡儿积的增长。我们完全可以把c的循环解除，根据a+ b+c=1000，c=1000- a - b。

　　我们的代码可以改成：

import time
start_time = time.time()
# 注意是两重循环
for a in range(0, 1001):
    for b in range(0, 1001-a):
        c = 1000 - a - b
        if a**2 + b**2 == c**2:
            print("a, b, c: %d, %d, %d" % (a, b, c))
end_time = time.time()
print("elapsed: %f" % (end_time - start_time))
print("complete!")
###########################
运行结果：
a, b, c: 0, 500, 500
a, b, c: 200, 375, 425
a, b, c: 375, 200, 425
a, b, c: 500, 0, 500
elapsed: 0.182897
complete!

修改代码

　　从运行时间上来看，第二种方法显然效率要高很多。我们使用大o法来确定算法的效率。

　　我们假定计算机执行算法每一个基本操作的时间是固定的一个时间单位，那么有多少个基本操作就代表会花费多少时间单位。算然对于不同的机器环境而言，确切的单位时间是不同的，但是对于算法进行多少个基本操作（即花费多少时间单位）在规模数量级上却是相同的，由此可以忽略机器环境的影响而客观的反应算法的时间效率。

　　怎么解释大O法：“大O记法”：对于单调的整数函数f，如果存在一个整数函数g和实常数c>0，使得对于充分大的n总有f(n)<=c*g(n)，就说函数g是f的一个渐近函数（忽略常数），记为f(n)=O(g(n))。也就是说，在趋向无穷的极限意义下，函数f的增长速度受到函数g的约束，亦即函数f与函数g的特征相似。

　　时间复杂度：假设存在函数g，使得算法A处理规模为n的问题示例所用时间为T(n)=O(g(n))，则称O(g(n))为算法A的渐近时间复杂度，简称时间复杂度，记为T(n)。

　　简单来说就是大O法就是忽略常数c，它认为3*n**2和100*n**2属于同一个量级，如果两个算法处理同样规模实例的代价分别为这两个函数，就认为它们的效率“差不多”，都为n**2级。

　　时间复杂度的几条基本计算规则，

　　基本操作，即只有常数项，认为其时间复杂度为O(1)，

　　顺序结构，时间复杂度按加法进行计算，

　　循环结构，时间复杂度按乘法进行计算，

　　分支结构，时间复杂度取最大值，

　　判断一个算法的效率时，往往只需要关注操作数量的最高次项，其它次要项和常数项可以忽略，

　　在没有特殊说明时，我们所分析的算法的时间复杂度都是指最坏时间复杂度。

　　再回到我们最初的问题，我们第一次使用的枚举法时间复杂度：

T(n) = O(n*n*n) = O(n**3)

　　第二次的算法时间复杂度：

T(n) = O(n*n*(1+1)) = O(n*n) = O(n**2)

　　我们之前写过的算法图解里也对大O法进行了解释：

　　大O法的消耗时间由小到大的顺序为：O(1) < O(logn) < O(n) < O(nlogn) < O(n²) < O(n³) < O(2ⁿ) < O(n!) < O(nⁿ)。

timeit模块

　　timeit模块可以用来测试一小段Python代码的执行速度。

class timeit.Timer(stmt=\'pass\', setup=\'pass\', timer=<timer function>)
Timer是测量小段代码执行速度的类。
stmt参数是要测试的代码语句（statment）；

setup参数是运行代码时需要的设置；相当于我们要使用time需要导入time模块。
timer参数是一个定时器函数，与平台有关。
timeit.Timer.timeit(number=1000000)

Timer类中测试语句执行速度的对象方法。number参数是测试代码时的测试次数，默认为1000000次。方法返回执行代码的平均耗时，一个float类型的秒数。

timeit模块

def test1():
   l = []
   for i in range(1000):
      l = l + [i]
def test2():
   l = []
   for i in range(1000):
      l.append(i)
def test3():
   l = [i for i in range(1000)]
def test4():
   l = list(range(1000))

from timeit import Timer

t1 = Timer("test1()", "from __main__ import test1")
print("concat ",t1.timeit(number=1000), "seconds")
t2 = Timer("test2()", "from __main__ import test2")
print("append ",t2.timeit(number=1000), "seconds")
t3 = Timer("test3()", "from __main__ import test3")
print("comprehension ",t3.timeit(number=1000), "seconds")
t4 = Timer("test4()", "from __main__ import test4")
print("list range ",t4.timeit(number=1000), "seconds")

# (\'concat \', 1.7890608310699463, \'seconds\')
# (\'append \', 0.13796091079711914, \'seconds\')
# (\'comprehension \', 0.05671119689941406, \'seconds\')
# (\'list range \', 0.014147043228149414, \'seconds\')

生成列表的效率

　　所以以后千万别写什么l = l + [i]增加列表了（每次都生成新列表而+=则不会生成新列表+=与extend效果一样），因为列表本身的结构类型所以在列表的头部或者尾部增加或删除也是有区别的。

x = range(2000000)
pop_zero = Timer("x.pop(0)","from __main__ import x")
print("pop_zero ",pop_zero.timeit(number=1000), "seconds")
x = range(2000000)
pop_end = Timer("x.pop()","from __main__ import x")
print("pop_end ",pop_end.timeit(number=1000), "seconds")

# (\'pop_zero \', 1.9101738929748535, \'seconds\')
# (\'pop_end \', 0.00023603439331054688, \'seconds\')

列表前后插入与删除的区别

　　我们希望算法解决问题的效率越快越好，于是我们就需要考虑数据究竟如何保存的问题，这就是数据结构。列表和字典就是Python内建帮我们封装好的两种数据结构。

　　数据是一个抽象的概念，将其进行分类后得到程序设计语言中的基本类型。如：int，float，char等。数据元素之间不是独立的，存在特定的关系，这些关系便是结构。数据结构指数据对象中数据元素之间的关系。

　　抽象数据类型(ADT)是把数据类型和数据类型上的运算捆在一起，进行封装。引入抽象数据类型的目的是把数据类型的表示和数据类型上运算的实现与这些数据类型和运算在程序中的引用隔开，使它们相互独立。类似于面向对象提供api操作。