Python3中对Dict的内存优化

Posted 2020-10-01

众所周知，python3.6这个版本对dict的实现是做了较大优化的，特别是在内存使用率方面，因此我觉得有必要研究一下最新的dict的源码实现。

前后断断续续看了大概一周多一点，主要在研究dict和创建实例对象那部分的代码，在此将所得记录下来。

值得一提的事，新版的dict使用的算法还是一样的，比如说hash值计算、冲突解决策略（open addressing）等。因此这一部分也不是我关注的重点，我关注的主要是在新的dict如何降低内存使用这方面。

btw，本文的分析是基于python的3.6.1这个版本。

 

话不多说，先看 PyDictObject 结构的定义：

 1 typedef struct _dictkeysobject PyDictKeysObject;
 2 
 3 /* The ma_values pointer is NULL for a combined table
 4  * or points to an array of PyObject* for a split table
 5  */
 6 typedef struct {
 7     PyObject_HEAD
 8 
 9     /* Number of items in the dictionary */
10     Py_ssize_t ma_used;
11 
12     /* Dictionary version: globally unique, value change each time
13        the dictionary is modified */
14     uint64_t ma_version_tag;
15 
16     PyDictKeysObject *ma_keys;
17 
18     /* If ma_values is NULL, the table is "combined": keys and values
19        are stored in ma_keys.
20 
21        If ma_values is not NULL, the table is splitted:
22        keys are stored in ma_keys and values are stored in ma_values */
23     PyObject **ma_values;
24 } PyDictObject;

 

说下新增的 PyDictKeysObject 这个对象，其定义如下：

 1 /* See dictobject.c for actual layout of DictKeysObject */
 2 struct _dictkeysobject {
 3     Py_ssize_t dk_refcnt;
 4 
 5     /* Size of the hash table (dk_indices). It must be a power of 2. */
 6     Py_ssize_t dk_size;
 7 
 8     /* Function to lookup in the hash table (dk_indices):
 9 
10        - lookdict(): general-purpose, and may return DKIX_ERROR if (and
11          only if) a comparison raises an exception.
12 
13        - lookdict_unicode(): specialized to Unicode string keys, comparison of
14          which can never raise an exception; that function can never return
15          DKIX_ERROR.
16 
17        - lookdict_unicode_nodummy(): similar to lookdict_unicode() but further
18          specialized for Unicode string keys that cannot be the <dummy> value.
19 
20        - lookdict_split(): Version of lookdict() for split tables. */
21     dict_lookup_func dk_lookup;
22 
23     /* Number of usable entries in dk_entries. */
24     Py_ssize_t dk_usable;
25 
26     /* Number of used entries in dk_entries. */
27     Py_ssize_t dk_nentries;
28 
29     /* Actual hash table of dk_size entries. It holds indices in dk_entries,
30        or DKIX_EMPTY(-1) or DKIX_DUMMY(-2).
31 
32        Indices must be: 0 <= indice < USABLE_FRACTION(dk_size).
33 
34        The size in bytes of an indice depends on dk_size:
35 
36        - 1 byte if dk_size <= 0xff (char*)
37        - 2 bytes if dk_size <= 0xffff (int16_t*)
38        - 4 bytes if dk_size <= 0xffffffff (int32_t*)
39        - 8 bytes otherwise (int64_t*)
40 
41        Dynamically sized, 8 is minimum. */
42     union {
43         int8_t as_1[8];
44         int16_t as_2[4];
45         int32_t as_4[2];
46 #if SIZEOF_VOID_P > 4
47         int64_t as_8[1];
48 #endif
49     } dk_indices;
50 
51     /* "PyDictKeyEntry dk_entries[dk_usable];" array follows:
52        see the DK_ENTRIES() macro */
53 };

新版的dict在内存布局上和旧版有了很大的差异，其中一点就是分离存储了key和value。设计思路可以看看这个：More compact dictionaries with faster iteration

还有一点需要说明的是，新版的dict有两种形式，分别是 combined 和 split。其中后者主要用在优化对象存储属性的tp_dict上，这个在后面讨论。

对于旧版的hash table，其每个slot存储的是一个 PyDictKeyEntry 对象（PyDictKeyEntry是一个三元组，包含了hash、key、value），这样带来的问题就是，多占用了一些非必要的内存。对于状态为EMPTY的slot，实际可能存储为（0，NULL，NULL）这种形式，但其实这些数据都是冗余的。

因此新版的hash table对此作出了优化，slot（也即是 dk_indices） 存储的不再是一个 PyDictKeyEntry，而是一个数组的index，这个数组存储了具体且必要的 PyDictKeyEntry对象 。对于那些EMPTY、DUMMY状态的这类slot，只需要用个负数（区分大于0的index）表示即可。

实际上，优化还不止于此。实际上还会根据需要索引 PyDictKeyEntry 对象的数量，动态的决定是用什么类型的变量来表示index。例如，如果所存储的 PyDictKeyEntry 数量不超过127，那么实际上用长度为一个字节的带符号整数（char）存储index即可。需要说明的是，index的值是有可能为负的（EMPTY、DUMMY、ERROR），因此需要用带符号的整数存储。具体可以看 new_keys_object 这个函数，这个函数在创建 dict 的时候会被调用：

 1 PyObject *
 2 PyDict_New(void)
 3 {
 4     PyDictKeysObject *keys = new_keys_object(PyDict_MINSIZE);
 5     if (keys == NULL)
 6         return NULL;
 7     return new_dict(keys, NULL);
 8 }
 9 
10 static PyDictKeysObject *new_keys_object(Py_ssize_t size)
11 {
12     PyDictKeysObject *dk;
13     Py_ssize_t es, usable;
14 
15     assert(size >= PyDict_MINSIZE);
16     assert(IS_POWER_OF_2(size));
17 
18     usable = USABLE_FRACTION(size);
19     if (size <= 0xff) {
20         es = 1;
21     }
22     else if (size <= 0xffff) {
23         es = 2;
24     }
25 #if SIZEOF_VOID_P > 4
26     else if (size <= 0xffffffff) {
27         es = 4;
28     }
29 #endif
30     else {
31         es = sizeof(Py_ssize_t);
32     }
33 
34     if (size == PyDict_MINSIZE && numfreekeys > 0) {
35         dk = keys_free_list[--numfreekeys];
36     }
37     else {
38         dk = PyObject_MALLOC(sizeof(PyDictKeysObject)
39                              - Py_MEMBER_SIZE(PyDictKeysObject, dk_indices)
40                              + es * size
41                              + sizeof(PyDictKeyEntry) * usable);
42         if (dk == NULL) {
43             PyErr_NoMemory();
44             return NULL;
45         }
46     }
47     DK_DEBUG_INCREF dk->dk_refcnt = 1;
48     dk->dk_size = size;
49     dk->dk_usable = usable;
50     dk->dk_lookup = lookdict_unicode_nodummy;
51     dk->dk_nentries = 0;
52     memset(&dk->dk_indices.as_1[0], 0xff, es * size);
53     memset(DK_ENTRIES(dk), 0, sizeof(PyDictKeyEntry) * usable);
54     return dk;
55 }

 有几点需要说明一下：

（1）受限于装填因子，因此给定一个hash table 的 size 就能确定出最多可容纳多少个有效对象（上图代码18行），因此存储的 PyDictKeyEntry 对象的数组的长度是可以在一开始便确定下来的。PyDictKeysObject 对象上的 dk_usable 表示hash table还能存储多少个对象，其值小于等于0的时候，再插入元素需要执行 rehash 操作。

（2）传入的size的值必须是2的幂，因此如果 size <= 0xff(255) 成立，则说明 size <= 128，因此用1个字节长度来表示index足矣。

（3）CPython的代码到处存在着缓存策略，keys_free_list 也是如此，目的是减少实际执行malloc的次数。

（4）当申请内存时，在计算一个 PyDictKeysObject 对象实际需要的内存时，需要减去 dk_indices 成员默认的大小，默认大小是8字节。这部分内存是根据size动态确定下来的。

 

现在来说说之前提及的split形式的dict。这种字典的key是共享的，有一个引用计数器 dk_refcnt 来维护当前被引用的个数。而之所以设计出split形式的字典，是因为观察到了python虚拟机中，会有大量key相同而value不同的字典的存在。而这个特定的情况就是实例对象上存储属性的 tp_dict 字典！

因此split形式的dict主要是出于对优化实例对象上存储属性这种情况考虑的。设计思路这里有所提及：PEP 412 -- Key-Sharing Dictionary

我们都知道，python使用dict来存储对象的属性。考虑一个这样的场景：

（1）一个类会创建出很多个对象。

（2）这些对象的属性，能在一开始就确定下来，并且后续不会增加删除。

如果能满足上述两个条件，那么其实我们可以使用一种更高效、更省内存的方式，来存储对象的属性。方法就是，属于一个类的所有对象共享同一份属性字典的key，而value以数组的方式存储在每个对象的身上。优化的好处是显而易见的，原来需要为每一个对象维持一份属性key，而现在只需为所有对象维持一份即可，并且属性的值（value）也以更加紧凑的方式组织在内存中。新版的dict的设计使得实现这种共享key的策略变得更简单！

看看具体的代码：

 1 int
 2 _PyObjectDict_SetItem(PyTypeObject *tp, PyObject **dictptr,
 3                       PyObject *key, PyObject *value)
 4 {
 5     PyObject *dict;
 6     int res;
 7     PyDictKeysObject *cached;
 8 
 9     assert(dictptr != NULL);
10     if ((tp->tp_flags & Py_TPFLAGS_HEAPTYPE) && (cached = CACHED_KEYS(tp))) {
11         assert(dictptr != NULL);
12         dict = *dictptr;
13         if (dict == NULL) {
14             DK_INCREF(cached);
15             dict = new_dict_with_shared_keys(cached); // importance!!!
16             if (dict == NULL)
17                 return -1;
18             *dictptr = dict;
19         }
20         if (value == NULL) {
21             res = PyDict_DelItem(dict, key);
22             // Since key sharing dict doesn‘t allow deletion, PyDict_DelItem()
23             // always converts dict to combined form.
24             if ((cached = CACHED_KEYS(tp)) != NULL) {
25                 CACHED_KEYS(tp) = NULL;
26                 DK_DECREF(cached);
27             }
28         }
29         else {
30             int was_shared = (cached == ((PyDictObject *)dict)->ma_keys);
31             res = PyDict_SetItem(dict, key, value);
32             if (was_shared &&
33                     (cached = CACHED_KEYS(tp)) != NULL &&
34                     cached != ((PyDictObject *)dict)->ma_keys) {
35                 /* PyDict_SetItem() may call dictresize and convert split table
36                  * into combined table.  In such case, convert it to split
37                  * table again and update type‘s shared key only when this is
38                  * the only dict sharing key with the type.
39                  *
40                  * This is to allow using shared key in class like this:
41                  *
42                  *     class C:
43                  *         def __init__(self):
44                  *             # one dict resize happens
45                  *             self.a, self.b, self.c = 1, 2, 3
46                  *             self.d, self.e, self.f = 4, 5, 6
47                  *     a = C()
48                  */
49                 if (cached->dk_refcnt == 1) {
50                     CACHED_KEYS(tp) = make_keys_shared(dict);
51                 }
52                 else {
53                     CACHED_KEYS(tp) = NULL;
54                 }
55                 DK_DECREF(cached);
56                 if (CACHED_KEYS(tp) == NULL && PyErr_Occurred())
57                     return -1;
58             }
59         }
60     } else {
61         dict = *dictptr;
62         if (dict == NULL) {
63             dict = PyDict_New();
64             if (dict == NULL)
65                 return -1;
66             *dictptr = dict;
67         }
68         if (value == NULL) {
69             res = PyDict_DelItem(dict, key);
70         } else {
71             res = PyDict_SetItem(dict, key, value);
72         }
73     }
74     return res;
75 }

当我们在类的 __init__ 方法中通过 self.a = v 初始化一个对象的属性时，最终会调用到函数_PyObjectDict_SetItem。此函数会初始化对象的tp_dict，也即是对象的属性字典。从上述的第15行代码可以看出，在特定情况下，会将对象的属性字典初始化为共享key的split式字典。因此也验证了之前的分析。