Python虚拟机中的一般表达式

Posted 2021-01-02 北洛

在Python虚拟机框架这一章中，我们通过PyEval_EvalFrameEx看到了Python虚拟机的整体框架。而这章开始，我们将了解Python虚拟机是如何完成对Python的一般表达式的执行，这里的“一般表达式”包括最基本的对象创建语句，打印语句。至于if、while等表达式，我们将之归类于控制流语句，将再后面的章节介绍

简单内建对象的创建

我们先来看一段简单的对象创建语句：

demo.py

i = 1
s = "Python"
d = {}
l = []

　　

上面的语句很简单，创建i、s、d、l四个变量，分别赋值为1、"Python"、字典、列表，现在，让我们看一下这个脚本所对应的PyCodeObject对象中的符号表co_names和常量表co_consts都包含了什么

# python2.5
……
>>> source = open("demo.py").read()
>>> co = compile(source, "demo.py", "exec")
>>> co.co_consts
(1, \'Python\', None)
>>> co.co_names
(\'i\', \'s\', \'d\', \'l\')

　　

符号表和常量表保存着程序运行的重要信息，在Python虚拟机执行字节码指令时具有非常重要的作用

接下来，我们再用dis模块看一下demo.py对应的字节码

>>> import dis
>>> dis.dis(co)
  1           0 LOAD_CONST               0 (1)
              3 STORE_NAME               0 (i)

  2           6 LOAD_CONST               1 (\'Python\')
              9 STORE_NAME               1 (s)

  3          12 BUILD_MAP                0
             15 STORE_NAME               2 (d)

  4          18 BUILD_LIST               0
             21 STORE_NAME               3 (l)
             24 LOAD_CONST               2 (None)
             27 RETURN_VALUE  

　　

最左边的一列是字节码指令在源代码中所对应的行数，左起第二列是当前字节码在co_code中的偏移位置，第三列显示了当前字节码的指令，第四列是指令的参数，最后一列是计算后的实际参数

在PyEval_EvalFrameEx的实现中，出于对效率的考虑，使用了大量的宏，其中的一些宏包括了对栈的各种操作以及对tupple元素的访问操作，在执行字节码指令时，会大量使用这些宏：

ceval.c

//访问tupple中的元素
#define GETITEM(v, i) PyTuple_GetItem((v), (i))
//调整栈顶指针
#define BASIC_STACKADJ(n)	(stack_pointer += n)
#define STACKADJ(n)	BASIC_STACKADJ(n)
//入栈操作
#define BASIC_PUSH(v)	(*stack_pointer++ = (v))
#define PUSH(v)		BASIC_PUSH(v)
//出栈操作
#define BASIC_POP()	(*--stack_pointer)
#define POP()		BASIC_POP()

　　

 

图1-1

图1-1左边的stack_pointer是运行时栈的栈顶指针，字节码指令对符号和常量的操作最终都将反应到运行时栈和local名字空间（f->f_locals）

我们对demo.py结合dis所分析的结果逐行解析

i = 1
//分析结果
0 LOAD_CONST 0 (1)
3 STORE_NAME 0 (i)

　　

i = 1产生了两条字节码：LOAD_CONST和STORE_NAME，我们现在看下LOAD_CONST在PyEval_EvalFrameEx函数中的定义：

ceval.c

case LOAD_CONST:
	x = GETITEM(consts, oparg);
	Py_INCREF(x);
	PUSH(x);
	goto fast_next_opcode;

　　

根据我们之前的定义，GETITEM(consts, oparg)显然就是GETITEM(consts, 0)，即PyTuple_GetItem(consts, 0)。LOAD_CONST的意图很明显，就是从consts中读取序号为0的元素，然后再执行PUSH字节码将其压入运行时栈stack_pointer，其中，consts就是f->f_code->co_consts，其中，f是当前活动的PyFrameObject对象，那么consts也就是PyCodeObject对象中的co_consts

根据dis模块对demo.py的解析，我们可以知道consts的第0个元素是一个整数对象1，这也是demo.py中所创建的第一个对象。LOAD_CONST完成后运行时栈和名字空间如下图所示：

图1-2

第一条字节码指令LOAD_CONST只改变了运行时栈，对local名字空间没有任何影响。但别忘了，完成i = 1除了LOAD_CONST这条指令，还有一条STORE_NAME指令，STORE_NAME将完成在local名字空间中，实现符号i到PyIntObject对象1之间的映射关系，这样以后如果我们需要符号i，就可以到local名字空间查找i所对应的对象。现在，我们再来看一下STORE_NAME字节码的实现

ceva.lc

case STORE_NAME:
	w = GETITEM(names, oparg);
	v = POP();
	if ((x = f->f_locals) != NULL) {
		if (PyDict_CheckExact(x))
			err = PyDict_SetItem(x, w, v);
		else
			err = PyObject_SetItem(x, w, v);
		Py_DECREF(v);
		if (err == 0) continue;
		break;
	}
	PyErr_Format(PyExc_SystemError,
			 "no locals found when storing %s",
			 PyObject_REPR(w));
	break;

　　

这里，我们只考虑f->f_locals是PyDictObject对象的情况，代码会先取出符号表的符号，并从运行时栈中取出符号所对应的值，在PyDictObject这个对象中建立映射关系，而根据上面dis对i = 1的解析，可以发现STORE_NAME取出的符号确实是i。而完成STORE_NAME这一指令后，运行时栈和local名字空间的分部变为如下：

图1-3

 

　　

而demo.py中的s = "Python"所对应的字节码与i = 1所对应的一模一样，这里不再做阐述。

现在，我们再来看一下demo.py的第三行d = {}，是如何创建一个字典对象

d = {}
//分析结果
3 12 BUILD_MAP  0
  15 STORE_NAME 2 (d)

　　

指令BUILD_MAP会创建一个PyDictObject对象，并将之压入栈

ceval.c

case BUILD_MAP:
	x = PyDict_New();
	PUSH(x);
	if (x != NULL) continue;
	break;

　　

可能有人会想，如果在声明字典时不单单声明一个空字典，而是填入参数呢？如：d = {"1": 1, "2": 2}，不要急，关于这样的字典对应的字节码是如何生成并执行的，后面还会再介绍，再执行完BUILD_MAP和STORE_NAME之后，我们再来看下运行时栈和名字空间：

图1-4

 

 再来看一下demo.py最后一行代码l = []，我们看一下它的分析结果：

l = []
//分析结果
4 18 BUILD_LIST    0
  21 STORE_NAME    3 (l)
  24 LOAD_CONST    2 (None)
  27 RETURN_VALUE  

　　

BUILD_LIST这个字节码比BUILD_MAP稍微好点，因为它不像BUILD_MAP那样创建一个空字典就直接压入栈，而是会根据列表中的元素生成一个列表

ceval.c

case BUILD_LIST:
	x =  PyList_New(oparg);
	if (x != NULL) {
		for (; --oparg >= 0;) {
			w = POP();
			PyList_SET_ITEM(x, oparg, w);
		}
		PUSH(x);
		continue;
	}
	break;

　　

这里我们可以做一个猜测，如果BUILD_LIST创建的不是一个空列表，那在之前一定有若干LOAD_CONST操作，这将导致若干元素压入运行时栈中，在执行BUILD_LIST时，这些元素又会从运行时栈中弹出，加入新创建的PyListObject对象中。最后，执行STORE_NAME，完成符号与栈中列表的映射。现在，运行时栈和名字空间的分布应该如下：

图1-5

到这里，似乎demo.py所有的代码都执行完毕，但似乎我们还漏了些什么？在创建列表并建立映射之后，还有两句字节码：

24 LOAD_CONST    2 (None)
27 RETURN_VALUE  

　　

既然对象都已经创建完毕，那么多出的这两句又有什么用呢？原来，Python在执行完一段Code Block之后，一定要返回一些值，这条字节码指令就是用来返回这些值的，LOAD_CONST将None这个对象压入运行时栈，再在RETURN_VALUE时将栈中的对象，也就是None返回

ceval.c

case RETURN_VALUE:
	retval = POP();
	why = WHY_RETURN;
	goto fast_block_end;