一文了解 Python 中的生成器#私藏项目实操分享#

Posted 宇宙之一粟

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了一文了解 Python 中的生成器#私藏项目实操分享#相关的知识,希望对你有一定的参考价值。

前言

生成器很容易实现,但却不容易理解。生成器也可用于创建迭代器,但生成器可以用于一次返回一个可迭代的集合中一个元素。现在来看一个例子:

def yrange(n):
i = 0
while i < n:
yield i
i += 1

每次执行 yield 语句时,函数都会生成一个新值。

一文了解

“生成器”这个词被混淆地用来表示生成的函数和它生成的内容。

当调用生成器函数时,它甚至没有开始执行该函数就返回一个生成器对象。 当第一次调用 ​​next()​​ 方法时,函数开始执行直到它到达 yield 语句。 产生的值由下一次调用返回。

以下示例演示了 yield 和对生成器对象上的 next 方法的调用之间的相互作用。

>>> def foo():
... print("begin")
... for i in range(3):
... print("before yield", i)
... yield i
... print("after yield", i)
... print("end")
...
>>> f = foo()
>>> next(f)
begin
before yield 0
0
>>> next(f)
after yield 0
before yield 1
1
>>> next(f)
after yield 1
before yield 2
2
>>> next(f)
after yield 2
end
Traceback (most recent call last):
File "<pyshell#13>", line 1, in <module>
next(f)
StopIteration
>>>

生成器也是迭代器

生成器也是迭代器,支持使用 for 循环。当使用 ​​for​​ 语句开始对一组项目进行迭代时,即运行生成器。一旦生成器的函数代码到达 ​​yield​​ 语句,生成器就会将其执行交还给 ​​for​​ 循环,从集合中返回一个新值。生成器函数可以根据需要生成任意数量的值(可能是无限的),依次生成每个值。

f_2 = foo()
for i in f_2: print(i)

begin
before yield 0
0
after yield 0
end
before yield 1
1
after yield 1
end
before yield 2
2
after yield 2
end

一文了解

当一个函数包含 ​​yield​​ 时,Python 会自动实现一个迭代器,为我们应用所有需要的方法,比如 ​​__iter__()​​ 和 ​​__next__()​​,所以生成器也能和迭代器有相同的功能,如下所示:

def yrange():
i = 1
while True:
yield i
i = i + 1

def squares():
for i in yrange():
yield i * i

def take(n, seq):
seq = iter(seq)
result = []
try:
for i in range(n):
result.append(next(seq))
except StopIteration:
pass
return result

print(take(5, squares()))

# [1, 4, 9, 16, 25]

接下来看一下如何使用生成器计算斐波那契数列:

def fib(n):
if n <= 1:
return 1
a, b = 0, 1
for _ in range(n):
a, b = b, a + b
yield a

for i in fib(10):
print(i, end= )

# Result:1 1 2 3 5 8 13 21 34 55

生成器推导式

生成器表达式是列表推导式的生成器版本。它们看起来像列表推导式,但返回的是一个生成器,而不是一个列表。生成器推导式的本质:

  • 使用 yield 会产生一个生成器对象

  • 用 return 将返回当前的第一个值。

generator_expressions = (x for x in range(10))
generator_expressions
<generator object <genexpr> at 0x0000023F8BC51AF0>
sum(generator_expressions)
45

无限生成器

生成器的另一个常见场景是无限序列生成。在 Python 中,当您使用有限序列时,您可以简单地调用 ​​range()​​ 并在列表中对其进行计数,例如:

a = range(5)
print(list(a))
[0, 1, 2, 3, 4]

也可以这样做,使用如下生成器生成无限序列:

def infinite_sequence():
num = 0
while True:
yield num
num += 1

运行此代码时,可以看到其运行非常快,可以通过 ​​CTRL+C​​ 来使得程序结束,如下:

一文了解

生成器实际用法

1. 读取文件行

生成器的一个常见用法是处理大型文件或数据流,例如 CSV 文件。假设我们需要计算文本文件中有多少行,我们的代码可能如下所示:

def csv_reader(file_name):
file = open(file_name)
result = file.read().split("\\n")
return result

csv_gen = csv_reader("some_file.csv")
row_count = 0

for row in csv_gen:
row_count += 1

print(f"Row count is row_count")

我们的 ​​csv_reader​​ 函数将简单地将文件打开到内存中并读取所有行,然后它将行拆分并与文件数据形成一个数组。如果文件包含几千行,可能就会导致速度变慢,设置是内存被占满。

这里就可以通过生成器重构的 ​​csv_reader​​ 函数。

def csv_reader(file_name):
for #私藏项目实操分享#一文带你了解 Java 的内存模型与内存区域

#私藏项目实操分享# SAP Commerce Cloud 里的 Solr 架构简介

#私藏项目实操分享# Angular Change Detection 的学习笔记

#私藏项目实操分享# 你了解shiro吗?手把手教你集成shiro

#私藏项目实操分享#深入理解Python内存管理与垃圾回收

#私藏项目实操分享# go JSON操作