python语法之可迭代对象 迭代器 生成器 关系

前言:

  • 每次遇到生成器迭代器就犯浑,和 list、dict、set等是不是一样的呢? 是不是也能通过循环取值呢? 列表/字典/元组推导式也是什么呢?众多概念混在一起,难免会觉得头疼。接下来我将细细地讲述这三者是什么关系。

引入:

      要缕清这三者关系,首先需要知道python中容器的概念。

      容器是一种把多个元素组织在一起的数据结构,我们可以认为 字典、列表、元组、字符串、队列等都是一个容器对象。

      这样看很多容器都可以迭代,是不是所有呢?

      答案是否定的,比如:Bloom filter,虽然Bloom filter可以用来检测某个元素是否包含在容器中,但是并不能从容器中获取其中的每一个值,因为Bloom filter是没有把元素存储在容器中,而是通过一个散列函数映射成一个值保存在数组中。

      学过python的人会知道,可以使用 in、not in 判断元素是否存在这些对象中。通常这些的数据结构定义之后会将 所有元素放在内存中,当然这不是绝对的,像待会要讲的 生成器、迭代器 对象并不是所有元素放在内存中。


  • 可迭代对象 ---->>> iterable

      我们知道并不是所有的容器都可以迭代,我们可以这样认为,只要是可以返回一个迭代器 的对象就称为这是一个可迭代对象。
我们熟知的 list dict set tuple 这些其实都是可迭代对象,比如如下代码:

	 x = [1,2,3,4]
	 t = iter(x)
	 print(type(x))	# <class 'list'>
	 print(type(t))	# <class 'list_iterator'>
	 print(next(t)) 	# 打印输出 1
	 print(next(t)) 	# 打印输出 2

注解:
       这里x是一个可迭代对象,可迭代对象和容器一样是一种通俗的叫法,并不是指某种具体的数据类型,list是可迭代对象,dict是可迭代对象,set也是可迭代对象。t是一个独立的迭代器,迭代器内部持有一个状态,该状态用于记录当前迭代所在的位置,以方便下次迭代的时候获取正确的元素。迭代器有一种具体的迭代器类型,比如list_iterator,set_iterator。可迭代对象实现了__iter__方法,该方法返回一个迭代器对象。

当我们运行以下代码时

x = [1, 2, 3]
	for i in x:
		....

实际情况是:


  • 迭代器 —>>> iterator

      什么是迭代器呢?

        它是一个带状态的对象,他能在你调用next()方法的时候返回容器中的下一个值,任何实现了__iter__和__next__()(python2中实现next())方法的对象都是迭代器,__iter__返回迭代器自身,__next__返回容器中的下一个值,如果容器中没有更多元素了,则抛出StopIteration异常,至于它们到底是如何实现的这并不重要。

        所以,迭代器就像一个懒加载的工厂,等到有人需要的时候才给它生成值返回,没调用的时候就处于休眠状态等待下一次调用。
举个栗子: 我们可以自己定义一个迭代器,以斐波那契数列为例

from itertools import islice


class Fib(object):
    def __init__(self):
        self.prev = 0
        self.curr = 1

    def __iter__(self):
        return self

    def __next__(self):
        value = self.curr
        self.curr += self.prev
        self.prev = value
        return value


f = Fib()
print(list(islice(f, 0, 10)))  #[1, 1, 2, 3, 5, 8, 13, 21, 34, 55]

注解:

  1. itertools 这个库中的函数返回的都是一个迭代器对象。如 count、cycle等,有兴趣的小伙伴可以去查查资料。
  2. islice(iterable, [start, ] stop [, step]) 这是islice函数接口。这个函数将会创建一个迭代器,生成项的方式类似于切片返回值: iterable[start : stop : step],将跳过前start个项,迭代在stop所指定的位置停止,step指定用于跳过项的步幅。与切片不同,负值不会用于任何start,stop和step,如果省略了start,迭代将从0开始,如果省略了step,步幅将采用1
  3. 返回的是一个迭代器,想要看到结果需要转化为list

next() 方法 其实是做了两件事情:

  1. 为下一次调用next()方法修改状态
  2. 为当前调用next方法返回结果

  • 生成器 ----->>>generator

        生成器算得上是Python语言中最吸引人的特性之一,生成器其实是一种特殊的迭代器,不过这种迭代器更加优雅。它不需要再像上面的类一样写__iter__()和__next__()方法了,只需要一个yiled关键字。 生成器一定是迭代器(反之不成立),因此任何生成器也是以一种懒加载的模式生成值。用生成器来实现斐波那契数列的例子是:

def fib():
    prev, curr = 0, 1
    while True:
        yield curr
        prev, curr = curr, curr + prev

>>> f = fib()
>>> list(islice(f, 0, 10))
[1, 1, 2, 3, 5, 8, 13, 21, 34, 55]

注解:

  1. fib就是一个普通的python函数,它特殊的地方在于函数体中没有return关键字,函数的返回值是一个生成器对象。
  2. 当执行f=fib()返回的是一个生成器对象,此时函数体中的代码并不会执行,只有显示或隐示地调用next的时候才会真正执行里面的代码。
  3. 生成器在Python中是一个非常强大的编程结构,可以用更少地中间变量写流式代码,此外,相比其它容器对象它更能节省内存和CPU,当然它可以用更少的代码来实现相似的功能。

  • 生成器表达式---->>> generator expression

       生成器表达式是列表推倒式的生成器版本,看起来像列表推导式,但是它返回的是一个生成器对象而不是列表对象。如下代码:

a = (x for x in range(10))
print(type(a))	# <class 'generator'>

总结

好啦~看完之后是不是 对 可迭代对象 迭代器 生成器 有了更进一步的认识呢?如果没有的话,我再次总结一下:

  1. 容器是一系列元素的集合,str、list、set、dict、file、sockets对象都可以看作是容器,容器都可以被迭代(用在for,while等语句中),因此他们被称为可迭代对象。
  2. 可以将可迭代对象 x 转变成迭代器 y = iter(x),y就是一个迭代器对象。
  3. 迭代器持有一个内部状态的字段,用于记录下次迭代返回值,它实现了__next__和__iter__方法,迭代器不会一次性把所有元素加载到内存,而是需要的时候才生成返回结果。
  4. 生成器是一种特殊的迭代器,它的返回值不是通过return而是用yield

参考链接:

Iterator Types

python之禅——完全理解 迭代器 by 刘志军

猜你喜欢

转载自blog.csdn.net/weixin_42218582/article/details/90757125
今日推荐