Python的模块引用和查找路径

Posted 2020-06-24 清风无限

模块间相互独立相互引用是任何一种编程语言的基础能力。对于“模块”这个词在各种编程语言中或许是不同的，但我们可以简单认为一个程序文件是一个模块，文件里包含了类或者方法的定义。对于编译型的语言，比如C#中的一个.cs文件，Java中的一个.java或者编译后的.class文件可以认为是一个模块（但常常不表述为模块）；对于解释型的语言会更加直观些，比如php的.php文件，在Python中就是.py文件可以认为是一个模块。在“模块”之上有“包”，主要是为了方便组织和管理模块。比如C#中编译后的.dll文件（但常常不表述为包Package，而是库Library），Java将.class打包后的.jar文件，PHP的.phar文件（模仿Java包），在Python中一个特殊定义的文件夹是一个包，可以打包为egg文件。但对于解释型语言“包”并没有编译成低级语言而后打包的意思，只是更加方便模块化和管理模块间的依赖。每种编程语言对于模块和包管理都有一定的约定，不了解这些约定，那会给学习这种语言的带来障碍。下面我想来梳理一下Python的这些约定。

一、Python查找模块的路径

运行Python应用或引用Python模块，Python解释器要有一个查找的过程。可以通过设置一个环境变量PYTHONPATH为Python增加一个搜索路径，以方便查找到相关Python模块（不同的操作系统环境变量的设置稍有不同，默认以下都是WIndows环境），这与众多应用程序需要设置一个系统环境变量的道理是一样的。在命令行中可以通过以下命令设置：

C:\Users\Administrator>set PYTHONPATH=E:/Project/Python/ModuleAndPackage/

进入Python环境后可以，通过Python的sys.path属性获得当前搜索路径的配置，可以看到之前我们设置的路径已经在当前搜索路径中了。

C:\Users\Administrator>python
Python 2.7.11 (v2.7.11:6d1b6a68f775, Dec  5 2015, 20:32:19) [MSC v.1500 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys.path
[‘‘, ‘E:\\Project\\Python\\ModuleAndPackage‘, ‘C:\\Windows\\system32\\python27.zip‘, ‘C:\\Python\\DLLs‘, ‘C:\\Python\\lib‘, ‘C:\\Python\\lib\\plat-win‘, ‘C:\\Python\\lib\\lib-tk‘, ‘C:\\Python‘, ‘C:\\Python\\lib\\site-packages‘]
>>>

也可以通过sys模块的append方法在Python环境中增加搜索路径。

>>> sys.path.append("E:\\Project\\Python\\ModuleAndPackage2")
>>> sys.path
[‘‘, ‘E:\\Project\\Python\\ModuleAndPackage‘, ‘C:\\Windows\\system32\\python27.zip‘, ‘C:\\Python\\DLLs‘, ‘C:\\Python\\lib‘, ‘C:\\Python\\lib\\plat-win‘, ‘C:\\Python\\lib\\lib-tk‘, ‘C:\\Python‘, ‘C:\\Python\\lib\\site-packages‘, ‘E:\\Project\\Python\\ModuleAndPackage2‘]
>>>

 

二、Python中的模块和包

前面已经提到每个.py文件都是可以认为是一个Python模块，.py文件中可以包含类、方法、变量和常量（Python还没有严格意义上的常量，只是约定大写的变量作为常量），文件内也可以直接写所有的逻辑语句并在加载时从上之下直接执行，这与其他解释型语言是类似的。例如我们选择在文件夹ModuleAndPackage中创建一个文本文件person.py文件即创建了一个简单的Python模块，其内容如下：

# -*- coding: utf-8 -*-

ID = 1
name =  "This person"
print name

def say(something):
    print name,‘says‘, something

那么接下来我们就可以在Python环境中执行person.py。我们可以直接像执行一个批处理文件那样执行person.py，在cmd命令行输入：

Python E:/Project/Python/ModuleAndPackage/person.py

本质上任何一个Python应用的入口模块都是这样被执行的（像C#和Java中的main函数），但是引用一个模块，就要建立运行它的上下文环境。我们先设置一个环境变量PYTHONPATH，以便Python解释器找到person.py模块，然后import person模块，即可访问其中的方法或变量。

C:\Users\Administrator>python
Python 2.7.11 (v2.7.11:6d1b6a68f775, Dec  5 2015, 20:32:19) [MSC v.1500 32 bit (
Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import person
This person

>>> person.say("hello")
This person says hello
>>> print person.name

This person

>>>

Python需要去某些固定的路径下去查找Python模块，上面我们设置在ModuleAndPackage中查找。但是这些路径下也是有目录层次的，Python是如何查找子目录中的模块呢？特别是引用第三方包时，我们也需要知道一定的层次关系。实际上，Python通过目录和文件构建包结构，并且包是层层嵌套的，和目录层层嵌套是一样的，这样就构成了包内的访问路径（或者命名空间，也可以说Python应用的命名空间与其目录和文件结构是对应了，似乎缺少了一些灵活，但也更简单）。例如我们在ModuleAndPackage文件夹下，创建一个文件夹animal，里面创建一个文本文件pet.py，其内容如下：

# -*- coding: utf-8 -*-

ID = 2
name =  "This pet"
print name

def run(somewhere):
    print name,‘runs‘, somewhere

那么如何引用pet.py这个模块呢？按照Python的约定，需要在animal文件夹中创建名为__init__.py的空文本文件，以标识animal文件夹是一个包。倘若animal文件夹内还有文件夹作为包，也必须包含__init__.py文件。这样就层层标识了访问的路径。

>>> import animal.pet
This pet

>>> print animal.pet.name
This pet

>>> animal.pet.run("everywhere")

This pet runs everywhere

>>>

或者使用from关键字直接导入模块内的属性或方法：

>>> from animal.pet import name,run
>>> print name
This pet

>>> run("everywhere")
This pet runs everywhere
>>>

 

三、Python模块间引用

简答来说，只要Python模块在其执行环境配置的搜索路径中，并且其所在位置是包结构的一部分，那么我们就可以引用该模块。上文已经提供了模块引用的基本示例。只不过模块间引用时import语句是写在模块文件中，我们修改person.py模块的代码。

1、from、import和as

# -*- coding: utf-8 -*-

ID = 1
name =  "This person"
print name

def say(something):
    print name,‘says‘, something

from animal.pet import name as pet_name, run as pet_run

def have():
    print name,‘has‘, pet_name

import语句可以写在文档中的任何位置，甚至if语句中，以便更好的控制模块引用。还可以通过as语句，使用另一个变量名进行引用，以避免变量名冲突。

>>> import person
This person
This pet
>>> print person.name
This person
>>> print person.pet_name
This pet
>>> person.have()
This person has This pet
>>>

2、*通配符

上面的import代码明确了引用的变量名，但如果想引用模块中所有变量可以使用*通配符，将上面的import语句改写如下：

from animal.pet import *

但这样有可能造成变量名冲突，如下name变量发生冲突，覆盖了person自己的name变量的值：

>>> import person
This person
This pet
>>> print person.name
This pet

但如果想用*通配符，又不想引用模块中的所有变量，可以在模块中用变量__all__进行限制，修改pet.py，限制只引用ID和run两个变量名。

# -*- coding: utf-8 -*-
__all__ = [‘ID‘,‘run‘]

ID = 2
name =  "This pet"
print name

def run(somewhere):
    print name,‘runs‘, somewhere

因为没有引用pet模块中的name变量，person的name变量值没有改变，run却可以调用了。

>>> import person
This person
This pet
>>> print person.name
This person
>>> person.run("nowhere")
This pet runs nowhere
>>>

3、引用包

上面都是引用具体的animal.pet模块，但是这对于一个相对独立且拥有众多的模块的包来说就显得麻烦了，可以直接import animal吗？答案是肯定的，但是Python不像C#引用dll或者java引用jar那样，引用后包内的模块就可以通过命名空间直接访问了（在访问控制许可下）。默认情况下Python还是需要导入包内的具体模块的，但有个变通的办法，就是使用包中__init__.py文件，提前准备包内需要被引用的各个模块中的变量，类似于向外部引用者暴露包内接口。__init__.py文件代码是在包或者包内模块被引用时执行的，因而可以在其中做一些初始化的工作。修改animal文件夹中__init__.py文件如下，其中模块可以使用绝对路径和相对路径，相对路径中一个句点.代表同级目录，两个句点..代表父目录。

print "__init__"

from pet import name as pet_name, run as pet_run

#from animal.pet import name as pet_name, run as pet_run 

#from .pet import name as pet_name, run as pet_run 

修改person.py，直接引用anmial包：

# -*- coding: utf-8 -*-

ID = 1
name =  "This person"
print name

def say(something):
    print name,‘says‘, something

import animal

def have():
    print name,‘has‘, pet_name

在Python环境中引用person模块，person引用animal，并自动执行__init__的代码加载相关变量，通过dir方法可以查看模块中的变量，其中两个下划线开始的变量每个模块都有，这些变量具有特殊的作用，是Python预定义的。

>>> import person
This person
__init__
This pet
>>> dir(person)
[‘ID‘, ‘__builtins__‘, ‘__doc__‘, ‘__file__‘, ‘__name__‘, ‘__package__‘, ‘have‘,
 ‘name‘, ‘pet‘, ‘pet_name‘, ‘pet_run‘, ‘say‘]
>>> print person.pet_name
This pet
>>> person.pet_run("nowhere")
This pet runs nowhere
>>>