迭代器和生成器

Posted 等待Seiran

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了迭代器和生成器相关的知识,希望对你有一定的参考价值。

一、迭代器

 

1.1 迭代的概念

#迭代是一个重复的过程,每次重复即一次迭代,并且每次迭代的结果都是下一次迭代的初始值
while True: #只是单纯地重复,因而不是迭代
    print(===>) 
    
l=[1,2,3]
count=0
while count < len(l): #迭代
    print(l[count])
    count+=1

1.2 什么是可迭代对象?什么是迭代器?什么是迭代器对象?

技术分享图片
#1、什么是可迭代对象?
可迭代对象指的是内置有__iter__方法的对象,即obj.__iter__,如下
hello.__iter__
(1,2,3).__iter__
[1,2,3].__iter__
{a:1}.__iter__
{a,b}.__iter__
open(a.txt).__iter__

#2、为何要有迭代器?
对于序列类型:字符串、列表、元组,我们可以使用索引的方式迭代取出其包含的元素。但对于字典、集合、文件等类型是没有索引的,若还想取出其内部包含的元素,则必须找出一种不依赖于索引的迭代方式,这就是迭代器


#3、什么是迭代器对象?
可迭代对象执行obj.__iter__()得到的结果就是迭代器对象
而迭代器对象指的是即内置有__iter__又内置有__next__方法的对象

文件类型是迭代器对象
open(a.txt).__iter__()
open(a.txt).__next__()


#4、注意:
迭代器对象一定是可迭代对象,而可迭代对象不一定是迭代器对象
View Code

1.3 迭代器对象的使用

技术分享图片
dic={a:1,b:2,c:3}
iter_dic=dic.__iter__() #得到迭代器对象,迭代器对象即有__iter__又有__next__,但是:迭代器.__iter__()得到的仍然是迭代器本身
iter_dic.__iter__() is iter_dic #True

print(iter_dic.__next__()) #等同于next(iter_dic)
print(iter_dic.__next__()) #等同于next(iter_dic)
print(iter_dic.__next__()) #等同于next(iter_dic)
# print(iter_dic.__next__()) #抛出异常StopIteration,或者说结束标志

#有了迭代器,我们就可以不依赖索引迭代取值了
iter_dic=dic.__iter__()
while 1:
    try:
        k=next(iter_dic)
        print(dic[k])
    except StopIteration:
        break
        
#这么写太丑陋了,需要我们自己捕捉异常,控制next,python这么牛逼,能不能帮我解决呢?能,请看for循环
View Code

1.4 for循环

#基于for循环,我们可以完全不再依赖索引去取值了
dic={a:1,b:2,c:3}
for k in dic:
    print(dic[k])

#for循环的工作原理
#1:执行in后对象的dic.__iter__()方法,得到一个迭代器对象iter_dic
#2: 执行next(iter_dic),将得到的值赋值给k,然后执行循环体代码
#3: 重复过程2,直到捕捉到异常StopIteration,结束循环

1.5 迭代器的优缺点

#优点:
  - 提供一种统一的、不依赖于索引的迭代方式
  - 惰性计算,节省内存

#缺点:
  - 无法获取长度(只有在next完毕才知道到底有几个值)
  - 一次性的,只能往后走,不能往前退

二、生成器

2.1 生成器定义

#只要函数内部包含有yield关键字,那么函数名()的到的结果就是生成器,并且不会执行函数内部代码

def func():
    print(====>first)
    yield 1
    print(====>second)
    yield 2
    print(====>third)
    yield 3
    print(====>end)

g=func()
print(g) #<generator object func at 0x0000000002184360> 

2.2 生成器就是迭代器

g.__iter__
g.__next__
#2、所以生成器就是迭代器,因此可以这么取值
res=next(g)
print(res)

2.3 生成器简单应用

1. 假如我想让工厂给学生做校服,生产2000000件衣服,我和工厂一说,工厂应该是先答应下来,然后再去生产,我可以一件一件的要,也可以根据学生一批一批的找工厂拿。
而不能是一说要生产2000000件衣服,工厂就先去做生产2000000件衣服,等回来做好了,学生都毕业了。。。

技术分享图片
#初识生成器

def produce():
    """生产衣服"""
    for i in range(2000000):
        yield "生产了第%s件衣服"%i

product_g = produce()
print(product_g.__next__()) #要一件衣服
print(product_g.__next__()) #再要一件衣服
print(product_g.__next__()) #再要一件衣服
num = 0
for i in product_g:         #要一批衣服,比如5件
    print(i)
    num +=1
    if num == 5:
        break

#到这里我们找工厂拿了8件衣服,我一共让我的生产函数(也就是produce生成器函数)生产2000000件衣服。
#剩下的还有很多衣服,我们可以一直拿,也可以放着等想拿的时候再拿
初识应用

2. 生成器监听文件输入的例子

技术分享图片
import time


def tail(filename):
    f = open(filename)
    f.seek(0, 2) #从文件末尾算起
    while True:
        line = f.readline()  # 读取文件中新的文本行
        if not line:
            time.sleep(0.1)
            continue
        yield line

tail_g = tail(tmp)
for line in tail_g:
    print(line)
View Code

3. send

def generator():
    print(123)
    content = yield 1
    print(=======,content)
    print(456)
    yield2

g = generator()
ret = g.__next__()
print(***,ret)
ret = g.send(hello)   #send的效果和next一样
print(***,ret)

#send 获取下一个值的效果和next基本一致
#只是在获取下一个值的时候,给上一yield的位置传递一个数据
#使用send的注意事项
    # 第一次使用生成器的时候 是用next获取下一个值
    # 最后一个yield不能接受外部的值
技术分享图片
def averager():
    total = 0.0
    count = 0
    average = None
    while True:
        term = yield average
        total += term
        count += 1
        average = total/count


g_avg = averager()
next(g_avg)
print(g_avg.send(10))
print(g_avg.send(30))
print(g_avg.send(5))
移动平均值计算一
技术分享图片
def init(func):  #在调用被装饰生成器函数的时候首先用next激活生成器
    def inner(*args,**kwargs):
        g = func(*args,**kwargs)
        next(g)
        return g
    return inner

@init
def averager():
    total = 0.0
    count = 0
    average = None
    while True:
        term = yield average
        total += term
        count += 1
        average = total/count


g_avg = averager()
# next(g_avg)   在装饰器中执行了next方法
print(g_avg.send(10))
print(g_avg.send(30))
print(g_avg.send(5))
移动平均值计算二

4. yield from

技术分享图片
def gen1():
    for c in AB:
        yield c
    for i in range(3):
        yield i

print(list(gen1()))

def gen2():
    yield from AB
    yield from range(3)

print(list(gen2()))
View Code

5. 协程函数

 

技术分享图片
def eater(name):
    print(%s ready to eat %(name))
    foog_list=[]
    while True:
        food=yield foog_list
        print(%s start to eat %s %(name,food))
        foog_list.append(food)

g=eater(alex)
next(g)
print(g.send(烧鸡))
print(g.send(烧鹅))
print(g.send(烤鸭))
print(g.send(烤熊掌))
print(g.send(烤乳猪))
print(g.send(凉菜))
View Code

 

课后习题

1、自定义函数模拟range(1,7,2)

2、模拟管道,实现功能:tail -f access.log | grep ‘404‘

3、编写装饰器,实现初始化协程函数的功能

4、实现功能:grep  -rl  ‘python‘  /etc

技术分享图片
#题目一:
def my_range(start,stop,step=1):
    while start < stop:
        yield start
        start+=step

#执行函数得到生成器,本质就是迭代器
obj=my_range(1,7,2) #1  3  5
print(next(obj))
print(next(obj))
print(next(obj))
print(next(obj)) #StopIteration

#应用于for循环
for i in my_range(1,7,2):
    print(i)

#题目二:
import time
def tail(filepath):
    with open(filepath,rb) as f:
        f.seek(0,2)
        while True:
            line=f.readline()
            if line:
                yield line
            else:
                time.sleep(0.2)

def grep(pattern,lines):
    for line in lines:
        line=line.decode(utf-8)
        if pattern in line:
            yield line

for line in grep(404,tail(access.log)):
    print(line,end=‘‘)

#题目三:
def  init(func):
    def inner(*args,**kwargs):
        res=func(*args,**kwargs)
        next(res)
        return res
    return inner

@init
def eater(name):
    print(%s ready to eat %(name))
    foog_list=[]
    while True:
        food=yield foog_list
        print(%s start to eat %s %(name,food))
        foog_list.append(food)

print(eater(alex).send(熊掌))
print(eater(alex).send(烧鸡))
print(eater(alex).send(烧鹅))
print(eater(alex).send(烤鸭))

#题目四:
import os
def init(func):
    def wrapper(*args,**kwargs):
        g=func(*args,**kwargs)
        next(g)
        return g
    return wrapper
#阶段一:递归地找文件的绝对路径,把路径发给阶段二
@init
def search(target):
    search file abspath
    while True:
        start_path=yield
        g = os.walk(start_path)
        for par_dir, _, files in g:
            # print(par_dir,files)
            for file in files:
                file_path = r%s\%s % (par_dir, file)
                target.send(file_path)
#阶段二:收到文件路径,打开文件获取获取对象,把文件对象发给阶段三
@init
def opener(target):
    get file obj: f=open(filepath)
    while True:
        file_path=yield
        with open(file_path,encoding=utf-8) as f:
            target.send((file_path,f))

#阶段三:收到文件对象,for循环读取文件的每一行内容,把每一行内容发给阶段四
@init
def cat(target):
    read file
    while True:
        filepath,f=yield
        for line in f:
            res=target.send((filepath,line))
            if res:
                break

#阶段四:收到一行内容,判断root是否在这一行中,如果在,则把文件名发给阶段五
@init
def grep(target,pattern):
    grep function
    tag=False
    while True:
        filepath,line=yield tag #target.send((filepath,line))
        tag=False
        if pattern in line:
            target.send(filepath)
            tag=True
#阶段五:收到文件名,打印结果
@init
def printer():
    print function
    while True:
        filename=yield
        print(filename)

start_path1=rC:\Users\Administrator\PycharmProjects\python5期\a
start_path2=rC:\Users\Administrator\PycharmProjects\python5期\a\b
g=search(opener(cat(grep(printer(),root))))

print(g)
# g.send(start_path1)
g.send(start_path2)
答案

以上是关于迭代器和生成器的主要内容,如果未能解决你的问题,请参考以下文章

python函数:迭代器和生成器

python函数:迭代器和生成器

迭代器和生成器函数

Python中迭代器和生成器的区别与联系

迭代器和生成器

python的生成器与迭代器和可迭代对象