python之装饰器生成器迭代器

Posted zhaoc6314

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python之装饰器生成器迭代器相关的知识,希望对你有一定的参考价值。

一、装饰器:

定义:本质是函数,(装饰其他函数)就是为其他函数添加附加功能

原则:1.不能修改被装饰的函数的源代码

   2.不能修改被装饰的函数的调用方式

实现装饰器知识储备:

1.函数即“变量”  

2.高阶函数:把一个函数名当做实参传给另外一个函数(在不修改被装饰函数源代码的情况下为其添加功能),返回值中包含函数名(不修改函数的调用方式)

3.嵌套函数

高阶函数+嵌套函数=》装饰器

例子:

import time
def timmer(func):
def warpper(*args,**kwargs):
start_time=time.time()
res=func(*args,**kwargs)
stop_time=time.time()
print(‘the func run time is %s‘ %(stop_time-start_time))
     return res
return warpper

@timmer    #等效于test1=timmer(test1) = warpper
def test1():
time.sleep(3)
print(‘in the test1‘)
@timer
def test2(name,age)
  time.sleep(1)
  print(‘test2‘:name,age)
test1()
test2(‘zhaoc‘,22)
进阶版:
import time
user,passwd = ‘alex‘,‘abc123‘
def auth(auth_type):
print("auth func:",auth_type)  
def outer_wrapper(func):
def wrapper(*args, **kwargs):
print("wrapper func args:", *args, **kwargs)
if auth_type == "local": #如果是local方式登录,进行校验
username = input("Username:").strip()
password = input("Password:").strip()
if user == username and passwd == password:
print("\033[32;1mUser has passed authentication\033[0m")
res = func(*args, **kwargs) # from home
print("---after authenticaion ")
return res
else:
exit("\033[31;1mInvalid username or password\033[0m")
elif auth_type == "ldap":      #如果是ldap方式登录,不让校验
print("搞毛线ldap,不会。。。。")

return wrapper
return outer_wrapper

def index():
print("welcome to index page")
@auth(auth_type="local") # home = wrapper()
def home():
print("welcome to home page")
return "from home"

@auth(auth_type="ldap")
def bbs():
print("welcome to bbs page")

index()
print(home()) #wrapper()
bbs()
二、生成器
列表生成式即List Comprehensions,是Python内置的非常简单却强大的可以用来创建list的生成式。 
举个例子,要生成list [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]可以用list(range(1, 11))
通过列表生成式,可以创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了
所以,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间。在Python中,这种一边循环一边计算的机制,称为生成器:generator

第一种方法,只要把一个列表生成式的[]改成()

要创建一个generator,有很多种方法。第一种方法很简单,只要把一个列表生成式的[]改成(),就创建了一个generator:g = (x*x for x in range(10))

如果要一个一个打印出来,可以通过next()函数获得generator的下一个返回值:

>>> next(g) 0

>>> next(g) 1

>>> next(g) 4 ……

>>> next(g) 64

>>> next(g) 81

>>> next(g)

Traceback (most recent call last): File "<stdin>", line 1, in <module> StopIteration

我们讲过,generator保存的是算法,每次调用next(g),就计算出g的下一个元素的值,直到计算到最后一个元素,没有更多的元素时,抛出StopIteration的错误。

当然,上面这种不断调用next(g)实在是太变态了,正确的方法是使用for循环,因为generator也是可迭代对象:

>>> g = (x * x for x in range(10))

>>> for n in g: ... print(n)

第二种方法,函数实现

generator非常强大。如果推算的算法比较复杂,用类似列表生成式的for循环无法实现的时候,还可以用函数来实现。 
比如,著名的斐波拉契数列(Fibonacci),除第一个和第二个数外,任意一个数都可由前两个数相加得到: 
1, 1, 2, 3, 5, 8, 13, 21, 34, … 
斐波拉契数列用列表生成式写不出来,但是,用函数把它打印出来却很容易:

1 def fib(max):
2     n, a, b = 0, 0, 1
3     while n < max:
4         print(b)
5         a, b = b, a + b
6         n = n + 1
7     return done

注意,赋值语句:

1 a, b = b, a + b
2 # 错误以为,等同于一下:
3 # a = b
4 # b = a + b

其实,等同于:

1 t = (b, a + b)  # t是一个tuple
2 a = t[0]
3 b = t[1]

但不必显式写出临时变量t就可以赋值。

上面的函数可以输出斐波那契数列的前N个数:

1 >>> fib(5)
2 1
3 1
4 2
5 3
6 5
7 done

fib函数实际上是定义了斐波拉契数列的推算规则,可以从第一个元素开始,推算出后续任意的元素,这种逻辑其实非常类似generator。 
要把fib函数变成generator,只需要把print(b)改为yield b就可以了:

 1 def fib(max):
 2     n,a,b = 0,0,1
 3 
 4     while n < max:
 5         #print(b)
 6         yield  b
 7         a,b = b,a+b
 8 
 9         n += 1
10 
11     return done

这就是定义generator的另一种方法。如果一个函数定义中包含yield关键字,那么这个函数就不再是一个普通函数,而是一个generator:

1 >>> f = fib(6)
2 >>> f
3 <generator object fib at 0x104feaaa0>

这里,最难理解的就是generator和函数的执行流程不一样。函数是顺序执行,遇到return语句或者最后一行函数语句就返回。而变成generator的函数,在每次调用next()的时候执行,遇到yield语句返回,再次执行时从上次返回的yield语句处继续执行。 
同样的,把函数改成generator后,我们基本上从来不会用next()来获取下一个返回值,而是直接使用for循环来迭代: 
但是用for循环调用generator时,发现拿不到generator的return语句的返回值。如果想要拿到返回值,必须捕获StopIteration错误,返回值包含在StopIteration的value中:

 1 >>> g = fib(6)
 2 >>> while True:
 3 ...     try:
 4 ...         x = next(g)
 5 ...         print(g:, x)
 6 ...     except StopIteration as e:
 7 ...         print(Generator return value:, e.value)
 8 ...         break
 9 ...
10 g: 1
11 g: 1
12 g: 2
13 g: 3
14 g: 5
15 g: 8
16 Generator return value: done

还可通过yield实现在单线程的情况下实现并发运算的效果

 1 import time
 2 def consumer(name):  # 消费者
 3     print("%s 准备吃包子啦!" %name)
 4     while True:
 5         baozi = yield
 6         print("包子【%s】来了,被【%s】吃了!" %(baozi, name))
 7 
 8 def producer():   # 生产者
 9     c = consumer(A)
10     c2 = consumer(B)
11 
12     c.__next__()
13     next(c2)
14 
15     print("开始做包子了!")
16     for i in ["韭菜馅","茴香馅","鸡蛋馅","猪肉馅"]:
17         time.sleep(1.5)
18         print("做了两个个包子")
19         c.send(i)       #------------------------
20         c2.send(i)      # .send(i):给yield发送值
21 
22 producer()

小结

  1. 生成式:一边循环一边计算,调用的时候才生成,只有在调用时才回生成相应的数据。只记录当前位置,只有一个next方法。(next和 __next__)
  2. 取值:使用for 循环 
    c.__next__()这个方法,超出值后抛出异常为返回值。)循环不会。
  3. .send():给yield发送值
  4. 变成generator的函数,在每次调用next()的时候执行,遇到yield语句返回,再次执行时从上次返回的yield语句处继续执行。

三、迭代器

我们已经知道,可以直接作用于for循环的数据类型有以下几种: 
一类是集合数据类型,如list、tuple、dict、set、str等; 
一类是generator,包括生成器和带yield的generator function。 
这些可以直接作用于for循环的对象统称为可迭代对象:Iterable。 
可以使用isinstance()判断一个对象是否是Iterable对象:

 1 >>> from collections import Iterable
 2 >>> isinstance([], Iterable)
 3 True
 4 >>> isinstance({}, Iterable)
 5 True
 6 >>> isinstance(abc, Iterable)
 7 True
 8 >>> isinstance((x for x in range(10)), Iterable)
 9 True
10 >>> isinstance(100, Iterable)
11 False

而生成器不但可以作用于for循环,还可以被next()函数不断调用并返回下一个值,直到最后抛出StopIteration错误表示无法继续返回下一个值了。 
可以被next()函数调用并不断返回下一个值的对象称为迭代器:Iterator 
可以使用isinstance()判断一个对象是否是Iterator对象:

1 >>> from collections import Iterator
2 >>> isinstance((x for x in range(10)), Iterator)
3 True
4 >>> isinstance([], Iterator)
5 False
6 >>> isinstance({}, Iterator)
7 False
8 >>> isinstance(abc, Iterator)
9 False

生成器都是Iterator对象,但list、dict、str虽然是Iterable,却不是Iterator。

把list、dict、str等Iterable变成Iterator可以使用iter()函数:

1 >>> isinstance(iter([]), Iterator)
2 True
3 >>> isinstance(iter(abc), Iterator)
4 True
1 你可能会问,为什么list、dict、str等数据类型不是Iterator? 
2 这是因为Python的Iterator对象表示的是一个数据流,Iterator对象可以被next()函数调用并不断返回下一个数据,直到没有数据时抛出StopIteration错误。可以把这个数据流看做是一个有序序列,但我们却不能提前知道序列的长度,只能不断通过next()函数实现按需计算下一个数据,所以Iterator的计算是惰性的,只有在需要返回下一个数据时它才会计算。 
3 Iterator甚至可以表示一个无限大的数据流,例如全体自然数。而使用list是永远不可能存储全体自然数的。 
4 python版本: 
5 3.x:range() 是迭代器 
6 2.x:range() 是列表,xrange()是迭代器 

小结

  1. 凡是可作用于for循环的对象都是Iterable类型;
  2. 凡是可作用于next()函数的对象都是Iterator类型,它们表示一个惰性计算的序列; 
    所以生成器一定是迭代器。
  3. 集合数据类型如list、dict、str等是Iterable但不是Iterator,不过可以通过iter()函数获得一个Iterator对象。











































































以上是关于python之装饰器生成器迭代器的主要内容,如果未能解决你的问题,请参考以下文章

python-之装饰器迭代器生成器

python的重重之器(生成器迭代器装饰器)

Python之迭代器,生成器与装饰器

Python之装饰器迭代器和生成器

Python之迭代器生成器装饰器和递归

Python--核心2(生成器,迭代器,闭包,装饰器)之生成器