转载一篇文章,原文是Hitchhiker’s guide to the Python imports。
声明:如果你每天写Python,你会发现这篇文章中没有新东西。 这是专为那些像运维人员等偶尔使用Python的人以及那些忘记/误用python import的人写的。 尽管如此,代码是用Python 3.6类型注释编写的,以满足有经验的Python读者。 像往常一样,如果你发现任何错误,请告诉我!
模块
我们从一个常见的python代码开始
if __name__ == '__main__':
invoke_the_real_code()
很多人,我也不例外,把它当成固定格式,而不去深入理解它。 我们已经知道一点,当从CLI调用你的代码而不是导入它时,这个代码片段会有所不同。 现在让我们试着去理解我们为什么需要用它。
为了说明,假设我们正在编写一款披萨店软件。 源码在Github上。 这是pizza.py文件。
# pizza.py file
import math
class Pizza:
name: str = ''
size: int = 0
price: float = 0
def __init__(self, name: str, size: int, price: float) -> None:
self.name = name
self.size = size
self.price = price
def area(self) -> float:
return math.pi * math.pow(self.size / 2, 2)
def awesomeness(self) -> int:
if self.name == 'Carbonara':
return 9000
return self.size // int(self.price) * 100
print('pizza.py module name is %s' % __name__)
if __name__ == '__main__':
print('Carbonara is the most awesome pizza.')
我已经添加了打印__name__变量的代码,以便了解__name__是如何变化的。
$ python3 pizza.py
pizza.py module name is __main__
Carbonara is the most awesome pizza.
的确,全局变量__name__在从CLI调用的时候设置成了“__main__”。
可是如果从另外一个文件中引用它会怎么样呢?以下是menu.py的源码:
# menu.py file
from typing import List
from pizza import Pizza
MENU: List[Pizza] = [
Pizza('Margherita', 30, 10.0),
Pizza('Carbonara', 45, 14.99),
Pizza('Marinara', 35, 16.99),
]
if __name__ == '__main__':
print(MENU)
运行menu.py
$ python3 menu.py
pizza.py module name is pizza
[<pizza.Pizza object at 0x7fbbc1045470>, <pizza.Pizza object at 0x7fbbc10454e0>, <pizza.Pizza object at 0x7fbbc1045b38>]
接着看看下面两点:
- pizza.py代码中的第一条打印语句在import的时候执行了。
- pizza.py代码中的全局变量__name__设置成了没有.py后缀的文件名。
所以,事实是,__name__是保存当前Python模块名称的全局变量。
- 模块名称由解释器在__name__变量中设置
- 当从CLI调用模块时,其名称被设置为__main__
那么到底什么是模块呢? 这非常简单 – 模块是一个包含Python代码的文件,可以使用解释器(python程序)执行或从其他模块导入。
- Python模块只是一个包含Python代码的文件
就像执行时一样,当模块被导入时,它的顶级语句也会被执行,但是要知道,即使从不同的文件中导入它几次,它也只会被执行一次。
- 当你导入模块时,它会被执行
因为模块只是纯文件,所以有一个简单的方法来导入它们。 只取文件名,去掉.py扩展名并将其放入import语句中。
- 要导入模块,请使用不带.py扩展名的文件名
有趣的是,__name__被设置为文件名,无论你如何导入它 – 例如import pizza as broccoli,__name__仍然是pizza。 所以
- 导入时,即使使用import module as othername将模块名称重命名,模块名称仍然设置为不带.py扩展名的文件名
但是如果导入的模块不在同一个目录下,我们怎么导入呢? 答案是放在模块搜索路径中,我们最终会在讨论包时研究它。
包
- 包是模块集合的名称空间
命名空间部分很重要,因为它本身并不提供任何功能 – 它只是给你一个组合你所有模块的方式。
两种情况下,你需要把模块放入一个包中。 首先是隔离一个模块的定义。 在我们的pizza模块中,我们有一个可能与其他Pizza包相冲突的Pizza类(我们在pypi上有一些pizza包)
第二种情况是,如果你想分发你的代码,因为
- 包是Python中最小的代码分发单元
你在PyPI上看到的所有东西都是通过pip安装的,所以为了分享你的东西,你必须把它做成一个包。
好吧,假设我们确信并想将我们的2个模块转换成一个很好的包。 要做到这一点,我们需要创建一个包含一个空的__init__.py文件的目录,并将我们的文件移入该目录:
pizzapy/
├── __init__.py
├── menu.py
└── pizza.py
就是这样 – 现在你有一个比萨饼包!
- 要创建一个包,创建一个包含__init__.py文件的目录
请记住,程序包是模块的名称空间,因此您不会导入包本身,而是从包中导入模块。
>>> import pizzapy.menu
pizza.py module name is pizza
>>> pizzapy.menu.MENU
[<pizza.Pizza object at 0x7fa065291160>, <pizza.Pizza object at 0x7fa065291198>, <pizza.Pizza object at 0x7fa065291a20>]
如果以这种方式进行导入,则可能看起来过于冗长,因为您需要使用完全限定的名称。 我猜这是有意为之,因为Python宗旨之一是“明确比隐含更好”。
无论如何,你总是可以使用from package import module的格式来缩短名称:
>>> from pizzapy import menu
pizza.py module name is pizza
>>> menu.MENU
[<pizza.Pizza object at 0x7fa065291160>, <pizza.Pizza object at 0x7fa065291198>, <pizza.Pizza object at 0x7fa065291a20>]
包初始化
还记得我们如何把一个__init__.py文件放在一个目录中,这个目录就神奇地变成了一个包吗?这是一个很好的惯例配置示例,我们不需要描述任何配置或注册任何东西。约定包含__init__.py的任何目录都是Python包。
除了标识一个包,__init__.py还有一个目的 – 包初始化。这就是为什么它被称为init!初始化是在包导入时触发的,换句话说,导入包时调用__init__.py
- 当你导入一个包时,包内的__init__.py模块被执行
在__init__模块中,你可以做任何你想做的事情,但最常用的是用于一些包初始化或设置专用的__all__变量。后者控制*(通配符)导入 – from package import *。
而且因为Python很棒,我们可以在__init__模块中做很多事情,甚至是很奇怪的事情。假设我们不喜欢显式导入,并且希望将所有模块符号上升到包级别,这样我们就不必记住实际的模块名称。
为此,我们可以在__init__.py中像这样导入menu和pizza模块中的所有东西
# pizzapy/__init__.py
from pizzapy.pizza import *
from pizzapy.menu import *
看看运行结果:
>>> import pizzapy
pizza.py module name is pizzapy.pizza
pizza.py module name is pizza
>>> pizzapy.MENU
[<pizza.Pizza object at 0x7f1bf03b8828>, <pizza.Pizza object at 0x7f1bf03b8860>, <pizza.Pizza object at 0x7f1bf03b8908>]
没有更多的pizzapy.menu.Menu或menu.MENU :-)这种方式有点像Go中的软件包,但请注意,你正试图滥用Python,不鼓励这样做,因为在你要代码检查时,会让你抓狂的。 别怪我哦,我只是为了举例说明!
您可以像这样更简洁地重写导入
# pizzapy/__init__.py
from .pizza import *
from .menu import *
这只是另一种做同样事情的语法,就是所谓的相对导入。 我们来仔细看看。
绝对和相对导入
上面的2个代码段是做所谓的相对导入的唯一方法,因为自Python 3开始,所有导入都默认为绝对导入(如在PEP328中),这意味着导入将尝试首先导入标准模块,然后才导入本地包。 在创建自己的sys.py模块时,需要避免使用标准模块的名称,因为import sys可以覆盖标准库sys模块。
- 自Python 3开始,所有导入都默认为绝对导入 – 它将首先查找系统包
但是如果你的软件包有一个名为sys的模块,并且你想把它导入到同一个包内的另一个模块中,你必须做相对的导入。 要做到这一点,你必须再次明确的这样写package.module import somesymbol或from .module import somesymbol。 模块名称之前的那个有趣的点理解为“当前包”。
- 要进行相对导入,请在模块名前加上程序包名称或点
可执行程序包
在Python中,您可以使用python3 -m <module>构造调用模块。
$ python3 -m pizza
pizza.py module name is __main__
Carbonara is the most awesome pizza.
然而也可以这样调用:
$ python3 -m pizzapy
/usr/bin/python3: No module named pizzapy.__main__; 'pizzapy' is a package and cannot be directly executed
如你所看到的,这需要一个__main__模块,因此要先实现它:
# pizzapy/__main__.py
from pizzapy.menu import MENU
print('Awesomeness of pizzas:')
for pizza in MENU:
print(pizza.name, pizza.awesomeness())
现在可以正常使用了:
$ python3 -m pizzapy
pizza.py module name is pizza
Awesomeness of pizzas:
Margherita 300
Carbonara 9000
Marinara 200
- 添加__main__.py使包可执行(使用python3 -m package调用它)
导入兄弟包
而我想要涵盖的最后一件事是导入兄弟包。 假设我们有一个兄弟包pizzashop:
.
├── pizzapy
│ ├── __init__.py
│ ├── __main__.py
│ ├── menu.py
│ └── pizza.py
└── pizzashop
├── __init__.py
└── shop.py
# pizzashop/shop.py
import pizzapy.menu
print(pizzapy.menu.MENU)
现在,位于顶层目录下,如果我们试图像这样调用shop.py
$ python3 pizzashop/shop.py
Traceback (most recent call last):
File "pizzashop/shop.py", line 1, in <module>
import pizzapy.menu
ModuleNotFoundError: No module named 'pizzapy'
我们得到了找不到pizzapy模块的错误。 但是,如果我们把它作为包的一部分来调用它
$ python3 -m pizzashop.shop
pizza.py module name is pizza
[<pizza.Pizza object at 0x7f372b59ccc0>, <pizza.Pizza object at 0x7f372b59ccf8>, <pizza.Pizza object at 0x7f372b59cda0>]
它能正常工作了。 这到底是怎么回事?
对此的解释原因在于Python模块的搜索路径,在模块文档中有很详细的描述。
模块搜索路径是解释器用于查找模块的目录(在运行时可用sys.path得到)的列表。 它通过Python标准模块(/usr/lib64/python3.6)的路径进行初始化,site-packages是pip放置全局安装的所有内容的地方,也是一个依赖如何运行模块的目录。 如果将模块像这样python3 pizzashop/shop.py作为一个文件运行,则将包含目录(pizzashop)的路径添加到sys.path中。 另外,使用-m选项运行时,当前目录(如在pwd中)被添加到模块搜索路径。 我们可以通过在pizzashop/shop.py中打印sys.path来检查它:
$ pwd
/home/avd/dev/python-imports
$ tree
.
├── pizzapy
│ ├── __init__.py
│ ├── __main__.py
│ ├── menu.py
│ └── pizza.py
└── pizzashop
├── __init__.py
└── shop.py
$ python3 pizzashop/shop.py
['/home/avd/dev/python-imports/pizzashop',
'/usr/lib64/python36.zip',
'/usr/lib64/python3.6',
'/usr/lib64/python3.6/lib-dynload',
'/usr/local/lib64/python3.6/site-packages',
'/usr/local/lib/python3.6/site-packages',
'/usr/lib64/python3.6/site-packages',
'/usr/lib/python3.6/site-packages']
Traceback (most recent call last):
File "pizzashop/shop.py", line 5, in <module>
import pizzapy.menu
ModuleNotFoundError: No module named 'pizzapy'
$ python3 -m pizzashop.shop
['',
'/usr/lib64/python36.zip',
'/usr/lib64/python3.6',
'/usr/lib64/python3.6/lib-dynload',
'/usr/local/lib64/python3.6/site-packages',
'/usr/local/lib/python3.6/site-packages',
'/usr/lib64/python3.6/site-packages',
'/usr/lib/python3.6/site-packages']
pizza.py module name is pizza
[<pizza.Pizza object at 0x7f2f75747f28>, <pizza.Pizza object at 0x7f2f75747f60>, <pizza.Pizza object at 0x7f2f75747fd0>]
正如你在第一种情况中可以看到的,我们在路径中有pizzashop dir,所以我们找不到兄弟包pizzapy,而在第二种情况下,当前dir(表示为””)在sys.path中并且包含两个包。
- Python的模块搜索路径在运行时可作为sys.path
- 如果将模块作为脚本文件运行,则将包含该模块的目录添加到sys.path中,否则,会将当前目录添加到sys.path中
当人们将一堆测试或示例脚本放在主包相邻的目录或包中时,常常会出现导入同级包的问题。 这里有几个StackOverflow问题:
https://stackoverflow.com/q/6323860
https://stackoverflow.com/q/6670275
好的解决方案是把测试或例子放在包里,然后使用相对的导入来避免这个问题。 差点的解决方案是在运行时修改sys.path,增加所需包的父目录(耶,动态!)。 人们实际上这样做,虽然这是一个糟糕的方式。
结束语
我希望阅读这篇文章之后,你将会对Python的导入有更好的理解,并且可以最终顺利地将你工具箱中的巨大脚本分解成多个部分。最后,Python中的所有东西都非常简单,即使它不能完整地满足你的需求,你总可以在运行时随时修改任何内容。
目前想写的就这些,谢谢你的关注。 接下来如何,下次分解!
你想更深入了解学习Python知识体系,你可以看一下我们花费了一个多月整理了上百小时的几百个知识点体系内容: