如何理解Python中的iterable对象

转载请注明出处:https://www.jianshu.com/u/5e6f798c903a
[^*] 表示注脚,在文末可以查看对应连接,但简书不支持该语法。

首先,容器和 iterable 间没有必然的关联性。对象可以是非 iterable 的容器,也可以是非容器的 iterable (如,文件对象和套接字对象)。另外,容器通常是有限的,而 iterable 可以表示一个无限的数据源。
有关容器的介绍可查看我另一篇文章:如何理解Python中的容器对象

iterable 在官方文档的语境中存在如下两种含义:

  • 第一种是特指实现了 __iter__ 方法的对象[^2],本节后续部分会将此类对象称作 IterableObjc。

    Tips:IteratorGenerator 均属于 IterableObjc。

    from collections import abc
    
    
    class IterableObjc:
        def __iter__(self):
            cont = 0
            while cont < 3:
                cont += 1
                yield cont
    
    
    a_iterable = IterableObjc()
    assert isinstance(a_iterable, abc.Iterable)  # 无异常
    
  • 第二种将 iterable 视作一种抽象概念。只要内置函数 iter() [^5]可接受的对象,均被视作 iterable (这里特指 iter() 的单参数形式,不含第二参数)。因此,只要定义了 __iter__()__getitem__() 中的任意一个,便可被认定为 iterable。但是,只定义了 __getitem__() 的对象,并不是 IterableObjc。可见,第二种含义所含对象的范围大于第一种含义,可认为 IterableObjc 是 iterable 的子集。

    本节后续部分提及的 iterable 均采用第二种含义。

    class GetitemObjc:
        def __getitem__(self, item):
            cont = 0
            while cont <= item:
                cont += 1
                if cont >= 5:
                    raise StopIteration()
            return cont
    
    
    a_getitem = GetitemObjc()
    assert isinstance(a_getitem, abc.Iterable)  # 异常
    

1. iterable 与 for 循环

将 iterable 用于 for 循环时,我们不需要自己调用iter() ,也不需要自己处理迭代器对象。for 语句会在循环期间,自动创建一个用于保存迭代器的临时无名变量。通过反汇编(disassemble),可以让我们更加直观的了解 for 循环的执行过程,代码如下:

dis.dis("for _ in iterable: pass")

输出:

1           0 SETUP_LOOP              12 (to 14)
              2 LOAD_NAME                0 (iterable)
              4 GET_ITER
        >>    6 FOR_ITER                 4 (to 12)
              8 STORE_NAME               1 (_)
             10 JUMP_ABSOLUTE            6
        >>   12 POP_BLOCK
        >>   14 LOAD_CONST               0 (None)
             16 RETURN_VALUE

通过观察输出,可见解释器会显式调用 GET_ITER,这相当于调用了 iter(iterable) 。也就是说for 语句会自动调用 iter(iterable),从而将 iterable 对象转换为一个迭代器[^6]。以便能够通过 FOR_ITER 指令 (相当于 next() 方法) 获取下一个元素。注意:无法直接从字节码指令中观察到全部过程,因为解释器对此进行了优化。

2. iterable 与内置函数

iterable 还可用于任何需要顺序对象的地方,比如内置函数:

  • any(iterable)
  • class list([iterable])
  • map(function, iterable, ...)
  • ….

对内置函数来说,其 iterable 参数仍采用第二种含义,绝非严格意义上的 IterableObjc

比如文档中对内置函数 any(iterable) 的解释如下:

如果可迭代(iterable)对象中某个元素的布尔值为 True,则返回 True 。如果可迭代对象为空,则返回 False 。相当于如下代码:

def any(iterable):
    for element in iterable:
        if element:
            return True
    return False

由此可以推测,如果内置函数带有 iterable 参数,则会先将 iterable 转换为迭代器,然后再进行处理。在内置函数内部可以通过 for 循环间接转换,也可直接使用 iter() 进行转换(注意,内置函数是 C 实现,这里段文字仅是为了给出一种思路)

3. IterableObjc 与 __iter__

首先明确两个概念:

  • IterableObjc :所有实现了 __iter__ 的对象均可称作 IterableObjc
  • 迭代器:是指同时实现了 __iter____next__ 的对象,迭代器也属于 IterableObjc。

从本质上来说, __iter__ 方法就是为了返回迭代器而存在的,当需要容器提供迭代器时,便会调用此方法。但由于 IterableObjc 本身也可能是迭代器,所以便产生了以下两种情形:

# 第一种情况:IterableObjc本身不是迭代器
class IterableObjc:
    """
    在这种情况下,每次调用__iter__方法时,
    都会返回一个具备新id的迭代器对象,不会返回实例本身。
    """
    def __iter__(self):
        """调用该生成器函数,便会返回一个迭代器"""
        cont = 0
        while cont < 3:
            cont += 1
            yield cont
            
# 第二种情况:IterableObjc本身就是迭代器
class IteratorObjc:
    """
    在这种情况下,每次调用__iter__方法时,
    会返回实例对象自身,不会创建具备新id的迭代器对象。
    """
    def __iter__(self):
        self._count = 0
        # 调用时返回实例自身
        return self

    def __next__(self):
        while self._count < 3:
            self._count += 1
            return self._count

注脚:
[1]: 语言参考 – 3.1. Objects, values and types
[2]: 标准库 8.4. collections.abc — Abstract Base Classes for Containers
[3]: Iterables vs. Iterators vs. Generators | 完全理解 Python 迭代对象、迭代器、生成器
[4]: Glossary 术语表
[5]: iter(object[, sentinel])
[6]: 语言参考 – 8.3. The for statement
[7]: 标准库 – Iterator Types
[8]: 语言参考 – 3.3.7. Emulating container types

    原文作者:Orca_J35
    原文地址: https://www.jianshu.com/p/c523b4a8be6c
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞