完全理解 python 中的容器、迭代器、生成器

完全理解 python 中的容器、迭代器、生成器

容器（container）

容器是一种把多个元素组织在一起的数据结构，容器中的元素可以逐个地迭代获取，可以用in, not in关键字判断元素是否包含在容器中。通常这类数据结构把所有的元素存储在内存中（也有一些特例，并不是所有的元素都放在内存，比如迭代器和生成器对象）在Python中，常见的容器对象有：list(列表),set（集合）,dict（字典）,tuple（元组）,str（字符串）（也有相关资料说str是原子类型数据，不属于容器范畴）等。
容器比较容易理解，因为你就可以把它看作是一个盒子、一栋房子、一个柜子，里面可以塞任何东西。从技术角度来说，当它可以用来询问某个元素是否包含在其中时，那么这个对象就可以认为是一个容器，比如 list，set，tuples都是容器对象。

可迭代对象（iterable）

很多容器都是可迭代对象，此外还有更多的对象同样也是可迭代对象，比如处于打开状态的files，sockets等等。但凡是可以返回一个迭代器的对象都可称之为可迭代对象。
我们已经知道可以对list、tuple、str等类型的数据使⽤for…in…的循环语法从其中依次拿到数据进行使用，我们把这样的过程称为遍历，也叫迭代。但是，是否所有的数据类型都可以放到for…in…的语句中，然后让for…in…每次从中取出一条数据供我们使用，即供我们迭代吗？

In [1]: for i in 100:
 ...:     print(i)
 ...:     
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-1-8c701f656807> in <module>()
----> 1 for i in 100:
      2     print(i)
      3 

TypeError: 'int' object is not iterable

这是因为整数int不是iterable，即整型不是可以迭代的。我们把可以通过for…in…这类语句迭代读取一条数据供我们使用的对象称之为可迭代对象（Iterable）

如何判断一个对象是否可以迭代

可以使用isinstance()判断一个对象是否是可迭代对象

In [5]: from collections import Iterable

In [6]: isinstance([],Iterable)
Out[6]: True

In [7]: isinstance({},Iterable)
Out[7]: True

In [8]: isinstance("abcd",Iterable)
Out[8]: True

In [9]: isinstance(100,Iterable)
Out[9]: False

可迭代对象的本质

我们分析对可迭代对象进行迭代使用的过程，发现每迭代一次（即在for…in…中每循环一次）都会返回对象中的下一条数据，一直向后读取数据直到迭代了所有数据后结束。那么，在这个过程中就应该有一个“人”去记录每次访问到了第几条数据，以便每次迭代都可以返回下一条数据。我们把这个能帮助我们进行数据迭代的“人”称为迭代器(Iterator)。
可迭代对象的本质就是可以向我们提供一个这样的中间人即迭代器帮助我们对其进行迭代遍历使用
可迭代对象通过iter方法向我们提供一个迭代器，我们在迭代一个可迭代对象的时候，实际上就是先获取该对象提供的一迭代器，然后通过这个迭代器来依次获取对象中的每一个数据。
那么也就是说，一个具备了__iter__方法的对象，就是一个可迭代对象。
下面我们来验证一下：

 class Mylist(object):
   ....:     def __init__(self):
   ....:         self.container=[]
   ....:     def add(self,item):    
   ....:         self.container.append(item)
   ....:         


In [13]: mylist=Mylist()

In [14]: mylist.add(1)

In [15]: mylist.add(2)

In [16]: mylist.add(3)

In [17]: isinstance(mylist,Iterable)
Out[17]: False

我们定义了一个类，向类属性container中添加数据，但是结果发现，并不是可迭代对象，mylist这是我们自己实现的一个“列表”，目前是不具备可迭代性质的。

class Mylist(object):
   ....:     def __init__(self):
   ....:         self.container=[]
   ....:     def add(self,item):    
   ....:         self.container.append(item)
             def __iter__(self):    
   ....:         pass


In [13]: mylist=Mylist()

In [14]: mylist.add(1)

In [15]: mylist.add(2)

In [16]: mylist.add(3)

In [17]: isinstance(mylist,Iterable)
Out[17]: True

那么我们会发现一个实现了__iter__方法的类它就成为了一个可迭代对象。这就是可迭代对象的本质。

iter()函数与next()函数

list、tuple等都是可迭代对象，我们可以通过iter()函数获取这些可迭代对象的迭代器。然后我们可以对获取到的迭代器不断使用next()函数来获取下一条数据。iter()函数实际上就是调用了可迭代对象的 __iter__ 方法。

In [1]: li=[1,2,3,4,5,6]

In [2]: li_liter=iter(li)

In [3]: next(li_liter)
Out[3]: 1

In [4]: next(li_liter)
Out[4]: 2

In [5]: next(li_liter)
Out[5]: 3

In [6]: next(li_liter)
Out[6]: 4

In [7]: next(li_liter)
Out[7]: 5

In [8]: next(li_liter)
Out[8]: 6

In [9]: next(li_liter)
---------------------------------------------------------------------------
StopIteration                             Traceback (most recent call last)
<ipython-input-9-efd2732d9495> in <module>()
----> 1 next(li_liter)

注意，当我们已经迭代完最后一个数据之后，再次调用next()函数会抛出StopIteration的异常，来告诉我们所有数据都已迭代完成，不能再执行next()函数了。

迭代器Iterator

通过上面的分析，我们已经知道，迭代器是用来帮助我们记录每次迭代访问到的位置，当我们对迭代器使⽤next()函数的时候，迭代器会向我们返回它所记录位置的下一个位置的数据。实际上，在使用next()函数的时候，调⽤的就是迭代器对象的 __next__ 方法（Python3中是对象的 __next__ 方法，Python2中是对象的next()方法）。所以，我们要想构造一个迭代器，就要实现它的__next__ 方法。但这还不够，python要求迭代器本身也是可迭代的，所以我们还要为迭代器实现 __iter__ 方法，而 __iter__ 方法要返回一个迭代器，迭代器自身正是一个迭代器，所以迭代器的 __iter__ 方法返回自身即可。一个实现了 __iter__ 方法和 __next__ 方法的对象，就是迭代器。

class MyList(object):
"""自定义的一个可迭代对象"""
    def __init__(self):
        self.items = []
    def add(self, val):
        self.items.append(val)
    def __iter__(self):
        myiterator = MyIterator(self)
        return myiterator

class MyIterator(object):
"""自定义的供上面可迭代对象使用的一个迭代器"""
    def __init__(self, mylist):
        self.mylist = mylist
        # current用来记录当前访问到的位置
        self.current = 0
    def __next__(self):
        if self.current < len(self.mylist.items):
            item = self.mylist.items[self.current]
            self.current += 1
            return item
        else:
            raise StopIteration
    def __iter__(self):
        return self
if __name__ == '__main__':
    mylist = MyList()
    mylist.add(1)
    mylist.add(2)
    mylist.add(3)
    mylist.add(4)
    mylist.add(5)
    for num in mylist:
    print(num)

for…in…的本质

for item in Iterable 循环的本质就是先通过iter()函数获取可迭代对象Iterable的迭代器，然后对获取到的迭代器不断调用next()方法来获取下一个值并将其赋值给item，当遇到StopIteration的异常后循环结束。

迭代器的应用场景

我们发现迭代器最核心的功能就是可以通过next()函数的调用来返回下一个数据值。如果每次返回的数据值不是在一个已有的数据集合中读取的，而是通过程序按照一定的规律计算生成的，那么也就意味着可以不用再依赖一个已有的数据集合，也就是说不再将所有要迭代的数据都一次性缓存下来供后续依次读取，这样可以节省⼤量的存储（内存）空间。举个例子，比如，数学中有著名的斐波拉契数列（Fibonacci），数列中第一个数为0，第二个数为1，其后的每一个数都可由前两个数相加得到：0, 1, 1, 2, 3, 5, 8, 13, 21, 34, …现在我们想要通过for…in…循环来遍历迭代斐波那契数列中的前n个数。那么这个斐波那契数列我们就可以用迭代器来实现，每次迭代都通过数学计算来生成成下一个数。

class FibIterator(object):
"""斐波那契数列迭代器"""
    def __init__(self, n):
        """
        :param n: int, 指明生成数列的前n个数
        """
        self.n = n
        # current用来保存当前⽣成到数列中的第几个数了
        self.current = 0
        # num1用来保存前前一个数，初始值为数列中的第一个数0
        self.num1 = 0
        # num2用来保存前一个数，初始值为数列中的第二个数1
        self.num2 = 1
    def __next__(self):
        """被next()函数调用来获取下一个数"""
        if self.current < self.n:
            num = self.num1
            self.num1, self.num2 = self.num2, self.num1+self.num2
            self.current += 1
            return num
        else:
            raise StopIteration
    def __iter__(self):
        """迭代器的__iter__返回自身即可"""
        return self
    if __name__ == '__main__':
        fib = FibIterator(10)
        for num in fib:
        print(num, end=" ")

并不是只有for循环能接收可迭代对象

除了for循环能接收可迭代对象，list、tuple等也能接收。

li = list(FibIterator(15))
print(li)
tp = tuple(FibIterator(6))
print(tp)

生成器

利用迭代器，我们可以在每次迭代获取数据（通过next()方法）时按照特定的规律进行生成。但是我们在实现一个迭代器时，关于当前迭代到的状态需要我们自己记录，进而才能根据当前状态生成下一个数据。为了达到记录当前状态，并配合next()函数进行迭代使用，我们可以采用更简便的语法，即生成器(generator)。生成器是一类特殊的迭代器。

创建生成器的方法1

要创建一个生成器，有很多种方法。第一种⽅法很简单，只要把一个列表生成式的 [ ] 改成 ( )

In [15]: L = [ x*2 for x in range(5)]
In [16]: L
Out[16]: [0, 2, 4, 6, 8]
In [17]: G = ( x*2 for x in range(5))
In [18]: G
Out[18]: <generator object <genexpr> at 0x7f626c132db0>
In [19]:

创建 L 和 G 的区别仅在于最外层的 [ ] 和 ( ) ， L 是一个列表，而 G 是一个生成器。我们可以直接打印出列表L的每一个元素，而对于生成器G，我们可以按照迭代器的使用方法来使用，即可以通过next()函数、for循环、list()等方法使用。

In [19]: next(G)
Out[19]: 0
In [20]: next(G)
Out[20]: 2
In [21]: next(G)
Out[21]: 4
In [22]: next(G)
Out[22]: 6
In [23]: next(G)
Out[23]: 8
In [24]: next(G)
---------------------------------------------------------------------------
StopIteration Traceback (most recent call last)
<ipython-input-24-380e167d6934> in <module>()
----> 1 next(G)
StopIteration:
In [25]:
In [26]: G = ( x*2 for x in range(5))
In [27]: for x in G:
....: print(x)
....:
0
2
4
6
8

创建生成器的方法2

generator⾮常强大。如果推算的算法比较复杂，用类似列表生成式的 for 循环无法实现的时候，还可以用函数来实现。
我们仍然用上一次提到的斐波那契数列来举例，回想我们在上一次⽤迭代器的实现方式：

class FibIterator(object):
    """斐波那契数列迭代器"""
    def __init__(self, n):
        """
        :param n: int, 指明生成数列的前n个数
        """
        self.n = n
        # current用来保存当前生成到数列中的第几个数了
        self.current = 0
        # num1⽤来保存前前一个数，初始值为数列中的第一个数0
        self.num1 = 0
        # num2⽤来保存前一个数，初始值为数列中的第二个数1
        self.num2 = 1
    def __next__(self):
        """被next()函数调用来获取下一个数"""
        if self.current < self.n:
        num = self.num1
        self.num1, self.num2 = self.num2, self.num1+self.num2
        self.current += 1
        return num
        else:
        raise StopIteration
    def __iter__(self):

        """迭代器的__iter__返回自身即可"""
        return self

注意，在用迭代器实现的方式中，我们要借助几个变量(n、current、num1、num2)来保存迭代的状态。现在我们用生成器来实现一下。

In [30]: def fib(n):
....: current = 0
....: num1, num2 = 0, 1
....: while current < n:
....: num = num1
....: num1, num2 = num2, num1+num2
....: current += 1
....: yield num
....: return 'done'
....:
In [31]: F = fib(5)
In [32]: next(F)
Out[32]: 1
In [33]: next(F)
Out[33]: 1
In [34]: next(F)
Out[34]: 2
In [35]: next(F)
Out[35]: 3
In [36]: next(F)
Out[36]: 5
In [37]: next(F)

---------------------------------------------------------------------------
StopIteration Traceback (most recent call last)
<ipython-input-37-8c2b02b4361a> in <module>()
----> 1 next(F)
StopIteration: done

在使用生成器实现的⽅式中，我们将原本在迭代器 next ⽅法中实现的基本逻辑放到一个函数中来实现，但是将每次迭代返回数值的return换成了yield，此时新定义的函数便不再是函数，而是一个生成器了。简单来说：只要在def中有yield关键字的 就称为 生成器此时按照调用函数的方式( 案例中为F = fib(5) )使用生成器就不再是执行函数体了，而是会返回一个生成器对象（ 案例中为F ），然后就可以按照使用迭代器的方式来使用生成器了

使用send唤醒

我们除了可以使用next()函数来唤醒生成器继续执行外，还可以使用send()函数来唤醒执行。使用send()函数的一个好处是可以在唤醒的同时向断点处传入一个附加数据。
例子：执行到yield时，gen函数作用暂时保存，返回i的值; temp接收下次
c.send(“python”)，send发送过来的值，c.next()等价c.send(None)

In [10]: def gen():
....: i = 0
....: while i<5:
....: temp = yield i
....: print(temp)
....: i+=1
....:

使用send

In [43]: f = gen()
In [44]: next(f)
Out[44]: 0
In [45]: f.send('haha')
haha
Out[45]: 1
In [46]: next(f)
None
Out[46]: 2
In [47]: f.send('haha')
haha
Out[47]: 3
In [48]: