day7 反射

Posted 2020-09-21 （野生程序员）

    反射是python开发中常用的功能，伴随开发的整个过程，因此要熟练掌握反射的用法。

　　反射常用的函数有四个：hasattr()、getattr()、setattr()和delattr()四个反射的函数。

    本文主要介绍python中的反射,以及该机制的简单应用，熟悉JAVA的程序员，一定经常和Class.forName打交道。在很多框架中（Spring，eclipse plugin机制）都依赖于JAVA的反射能力，而在python中，也同样有着强大的反射能力，本文将做简单的介绍。

    一、前言

    >>> def f1():
　　...     print("f1是这个函数的名字！")

    >>> s1 = "f1"

    >>> print("%s是个字符串" %s1)
　　f1是个字符串

    >>> f1
　　<function f1 at 0x7fe9b995df28>
　　>>> f1()
　　f1是这个函数的名字！
　　>>> s1()
　　Traceback (most recent call last):
  　　File "<stdin>", line 1, in <module>
　　TypeError: \'str\' object is not callable

    在上面的代码中，我们必须区分两个概念，f1和"f1"。前者是函数f1的函数名，后者只是一个叫"f1"的字符串，两者是不同的事物。我们可以用f1()的方式调用函数f1,但我们不能用"f1"()的方式调用函数。说白了就是，不能通过字符串来调用名字看起来相同的函数！

    二、web实例

    考虑有这么一个场景，根据用户输入的URL的不同，调用不同的函数，实现不同的操作，也就是一个URL路由器的功能，这在Web框架里是核心部件之一。下面有一个精简版的示例：

    首先，有一个commons模块，它里面有几个函数，分别用于展示不同的页面，代码如下：

1 def login():
2     print("这是一个登录页面！")
3 
4 def logout():
5     print("这是一个退出页面！")
6 
7 def home():
8     print("这是网站主页面！")

    其次，有一个visit模块，作为程序入口，接受用户输入，展示相应的页面，代码如下：（这段代码是比较初级的写法）

 1 import commons
 2 #反射，用判断实现的反射，字符串调用模块的形式
 3 def run():
 4     ing = input("请输入你想访问页面的URL：").strip()
 5     if ing == "login":      #判断用户是否要调用login()方法，如果是调用模块commons中的login()方法
 6         commons.login()
 7 
 8     elif ing == "logout":   #判断用户是否要调用logout()方法，如果是调用commons中的logout()方法
 9         commons.logout()
10 
11     elif ing == "home":     #判断用户是否要调用home()方法，如果是，调用commons中的home()方法
12         commons.home()
13 
14 if __name__ == "__main__":  #以后使用程序都要写上__name__ == "__main__"作为程序的主入口
15     run()

　　我们运行visit.py，输入：home，页面结果如下：

    请输入你想访问页面的URL：home
　　这是网站主页面！

    这就实现了一个简单的WEB路由功能，根据不同的url，执行不同的函数，获得不同的页面。

    然而，让我们考虑一个问题，如果commons模块里有成百上千个函数呢(这非常正常)?。难道你在visit模块里写上成百上千个elif?显然这是不可能的！那么怎么破？

    三、反射机制

    仔细观察visit中的代码，我们会发现用户输入的url字符串和相应调用的函数名好像！如果能用这个字符串直接调用函数就好了！但是，前面我们已经说了字符串是不能用来调用函数的。为了解决这个问题，python为我们提供一个强大的内置函数：getattr!我们将前面的visit修改一下，代码如下：

 1 import commons
 2 #反射，用判断实现的反射，字符串调用模块的形式
 3 def run():
 4     # ing = input("请输入你想访问页面的URL：").strip()
 5     # if ing == "login":
 6     #     commons.login()
 7     #
 8     # elif ing == "logout":
 9     #     commons.logout()
10     #
11     # elif ing == "home":
12     #     commons.home()
13 
14     ing = input("请输入你想访问页面的URL：").strip()
15     func = getattr(commons,ing)      #从模块commons中获取ing等同字符串的函数内存地址
16     func()                           #执行从commons模块中获取的函数
17 
18 if __name__ == "__main__":
19     run()

    首先说明一下getattr函数的使用方法：它接收2个参数，前面的是一个对象或者模块，后面的是一个字符串，注意了！是个字符串！

    例子中，用户输入储存在inp中，这个inp就是个字符串，getattr函数让程序去commons这个模块里，寻找一个叫inp的成员（是叫，不是等于），这个过程就相当于我们把一个字符串变成一个函数名的过程。然后，把获得的结果赋值给func这个变量，实际上func就指向了commons里的某个函数。最后通过调用func函数，实现对commons里函数的调用。这完全就是一个动态访问的过程，一切都不写死，全部根据用户输入来变化。

    执行上面的代码，结果和最开始的是一样的。

    这就是python的反射，它的核心本质其实就是利用字符串的形式去对象（模块）中操作（查找/获取/删除/添加）成员，一种基于字符串的事件驱动！

    这段话，不一定准确，但大概就是这么个意思。

    四、进一步完善   

    上面的代码还有个小瑕疵，那就是如果用户输入一个非法的url，比如jpg，由于在commons里没有同名的函数，肯定会产生运行错误，具体如下：

    请输入你想访问页面的URL：jnp
　　Traceback (most recent call last):
  　　File "/home/zhuzhu/day7/commons/visits.py", line 19, in <module>
    　　run()
 　　 File "/home/zhuzhu/day7/commons/visits.py", line 15, in run
  　　  func = getattr(commons,ing)
　　AttributeError: module \'commons\' has no attribute \'jnp\'

    那怎么办呢？其实，python考虑的很全面了，它同样提供了一个叫hasattr的内置函数，用于判断commons中是否具有某个成员。我们将代码修改一下：

 

 1 import commons
 2 #反射，用判断实现的反射，字符串调用模块的形式
 3 def run():
 4     # ing = input("请输入你想访问页面的URL：").strip()
 5     # if ing == "login":
 6     #     commons.login()
 7     #
 8     # elif ing == "logout":
 9     #     commons.logout()
10     #
11     # elif ing == "home":
12     #     commons.home()
13     ing = input("请输入你想访问页面的URL：").strip()
14     if hasattr(commons,ing):          #判断模块commons中是否包含ing方法，如果包含就获取commons模块中的ing方法
15         func = getattr(commons,ing)
16         func()
17     else:
18         print(404)
19 
20 if __name__ == "__main__":
21     run()
当用户输入home时：
请输入你想访问页面的URL：home
func: <function home at 0x7f4ebd747048>
这是网站主页面！
当用户输入的字符串不是函数名时：
请输入你想访问页面的URL：ing
404

 

    上面getattr(模块名，字符串)获取的是函数的内存地址，如果获取到了就执行函数。

    通过hasattr的判断，可以防止非法输入错误，并将其统一定位到错误页面。

    其实，研究过python内置函数的朋友，应该注意到还有delattr和setattr两个内置函数。从字面上已经很好理解他们的作用了。

    python的四个重要内置函数：getattr、hasattr、delattr和setattr较为全面的实现了基于字符串的反射机制。他们都是对内存内的模块进行操作，并不会对源文件进行修改。

    五、动态导入模块

    上面的例子是在某个特定的目录结构下才能正常实现的，也就是commons和visit模块在同一目录下，并且所有的页面处理函数都在commons模块内。如下图：

    但在现实使用环境中，页面处理函数往往被分类放置在不同目录的不同模块中，也就是如下图：

    难道我们要在visit模块里写上一大堆的import 语句逐个导入account、manage、commons模块吗？要是有1000个这种模块呢？

    刚才我们分析完了基于字符串的反射，实现了动态的函数调用功能，我们不禁会想那么能不能动态导入模块呢？这完全是可以的！

    python提供了一个特殊的方法：__import__(字符串参数)。通过它，我们就可以实现类似的反射功能。__import__()方法会根据参数，动态的导入同名的模块。

    我们再修改一下上面的visit模块的代码。

 2 #反射，用判断实现的反射，字符串调用模块的形式
 3 def run():
 4     ing = input("请输入你想访问页面的URL：").strip()
 5     modules,func = ing.split("/")
 6     obj = __import__(modules)     #将字符串转化为模块名
 7     print(obj)
 8     if hasattr(commons,func):
 9         func = getattr(commons,func)
10         print("func:",func)
11         func()
12     else:
13         print(404)
14 
15 if __name__ == "__main__":
16     run()
运行一下：
请输入你想访问页面的URL：commons/home
<module \'commons\' from \'/home/zhuzhu/day7/commons/__init__.py\'>
func: <function home at 0x7fcc7ab27048>
这是网站主页面！

请输入你想访问页面的URL：find/home
Traceback (most recent call last):
  File "/home/zhuzhu/day7/commons/visits.py", line 16, in <module>
    run()
  File "/home/zhuzhu/day7/commons/visits.py", line 6, in run
    obj = __import__(modules)     #将字符串转化为模块名
ImportError: No module named \'find\'

    我们来分析一下上面的代码：

    首先，我们并没有定义任何一行import语句；  

    其次，用户的输入inp被要求为类似“commons/home”这种格式，其实也就是模拟web框架里的url地址，斜杠左边指向模块名，右边指向模块中的成员名。

    然后，modules,func = inp.split("/")处理了用户输入，使我们获得的2个字符串，并分别保存在modules和func变量里。

    接下来，最关键的是obj = __import__(modules)这一行，它让程序去导入了modules这个变量保存的字符串同名的模块，并将它赋值给obj变量。

    最后的调用中，getattr去modules模块中调用func成员的含义和以前是一样的。

    总结：通过__import__函数，我们实现了基于字符串的动态的模块导入。

    同样的，这里也有个小瑕疵！

    如果我们的目录结构是这样的（不在同一目录结构）：

    那么在visit的模块调用语句中，必须进行修改，我们想当然地会这么做：

 

import commons
#反射，用判断实现的反射，字符串调用模块的形式
def run():
    ing = input("请输入你想访问页面的URL：").strip()
    modules,func = ing.split("/")
    obj = __import__("lib." + modules)     #导入文件路径（字符串拼接）将字符串转化为模块名
    print(obj)
    if hasattr(commons,func):
        func = getattr(commons,func)
        print("func:",func)
        func()
    else:
        print(404)

if __name__ == "__main__":
    run()
运行如下：
请输入你想访问页面的URL：commons/home
Traceback (most recent call last):
  File "/home/zhuzhu/day7/commons/visits.py", line 16, in <module>
    run()
  File "/home/zhuzhu/day7/commons/visits.py", line 6, in run
    obj = __import__("lib" + modules)     #导入文件路径（字符串拼接）将字符串转化为模块名
ImportError: No module named \'libcommons\'

 

    改了这么一个地方:obj = __import__("lib." + modules)，看起来似乎没什么问题，和import lib.commons的传统方法类似，但实际上运行的时候会有错误。

    为什么呢？因为对于lib.xxx.xxx.xxx这一类的模块导入路径，__import__默认只会导入最开头的圆点左边的目录，也就是“lib”。我们可以做个测试，在visit同级目录内新建一个文件，代码如下：  

    obj = __import__("lib.commons")

    print(obj)

    执行结果：

     <module \'lib\' (namespace)>

 

    这个问题怎么解决呢？加上fromlist = True参数即可！

import commons
#反射，用判断实现的反射，字符串调用模块的形式
def run():
    ing = input("请输入你想访问页面的URL：").strip()
    modules,func = ing.split("/")
    obj = __import__("lib" + modules,fromlist=True)     #导入文件路径（字符串拼接）将字符串转化为模块名
    print(obj)
    if hasattr(commons,func):
        func = getattr(commons,func)
        print("func:",func)
        func()
    else:
        print(404)

if __name__ == "__main__":
    run()

    至此，动态导入模块的问题基本都解决了，只剩下最后一个，那就是万一用户输入错误的模块名呢？比如用户输入了somemodules/find，由于实际上不存在somemodules这个模块，必然会报错！那有没有类似上面hasattr内置函数这么个功能呢？答案是没有！碰到这种，你只能通过异常处理来解决。

    六、最后的思考

    可能有人会问python不是有两个内置函数exec和eval吗？他们同样能够执行字符串。比如：

    >>> exec("print(\'haha\')")     #执行文本操作的函数   eval()是执行字符串运算的函数
　　haha
    那么直接使用它们不行吗？非要那么费劲地使用getattr， __import__干嘛？

    其实，在上面的例子中，围绕的核心主题是如何利用字符串驱动不同的事件，比如导入模块、调用函数等等，这些都是Python的反射机制，是一种编程方法、设计模式的体现，凝聚了高内聚、松耦合的编程思想，不能简单的用执行字符串来代替。当然，exec和eval也有它的舞台，在Web框架里也经常被使用。