STL源码剖析——空间配置器Allocator#2 一/二级空间配置器

Posted 2021-03-26 misakijh

　　上节学习了内存配置后的对象构造行为和内存释放前的对象析构行为，在这一节来学习内存的配置与释放。

　　C++的内存配置基本操作是::operator new()，而释放基本操作是::operator delete()。这两个全局函数相当于C的malloc() 和free() 函数。而SGI正是以malloc() 和free() 完成内存的配置与释放。

　　考虑到小型区块可能造成的内存破碎问题，SGI设计了两级的空间配置器。第一级直接使用malloc() 和free() ，而第二级则视情况采用不同的策略：当配置区块超过128bytes时，视为足够大，便调用第一级配置器；当配置区块小于128bytes时，视为过小，采用复杂的内存池（memery pool）分配方式，而不再求助于第一级配置器。我的理解是，容器在分配内存时，无论所需区块多大，它都是调用第二级配置器，而在第二级配置器内再做判断是否求助于第一级配置器。我们可以从这段代码中看到端倪，其中第一级配置器类为__malloc_alloc_template，第二级配置器类为 __default_alloc_template：

typedef __malloc_alloc_template<0> malloc_alloc;
...
#ifdef __USE_MALLOC
...
typedef malloc_alloc alloc; // 令 alloc 為第一級配置器
...
#else
...
typedef __default_alloc_template<__NODE_ALLOCATOR_THREADS, 0> alloc; // 令 alloc 為第二級配置器
... 
#endif

　　通过测试可知，SGI STL并未定义__USE_MALLOC，所以都是调用第二级配置器。

　　不过无论alloc被定义为第一级亦或是第二级配置器，SGI 还为它再包装一个接口如下，使配置器的接口能够符合STL规格：

1 template<class T, class Alloc>
2 class simple_alloc {
3 public: 
4     static T *allocate(size_t n) { return 0 == n? 0 : (T*) Alloc::allocate(n * sizeof (T)); } 
5     static T *allocate(void) { return (T*) Alloc::allocate(sizeof (T)); } 
6     static void deallocate(T *p, size_t n) { if (0 != n) Alloc::deallocate(p, n * sizeof (T)); } 
7     static void deallocate(T *p) { Alloc::deallocate(p, sizeof (T)); }
8 };

　　其内部的四个成员函数其实都是单纯的转调用，调用泛型Alloc类的成员函数allocate亦或是deallocate来配置与释放内存。而Alloc一般在容器类的定义时就已经指派好了，例如在Vector类定义的开头：

template <class T, class Alloc = alloc>  // 預設使用 alloc 為配置器
class vector {
...
protected:
  // 專屬之空間配置器，每次配置一個元素大小
  typedef simple_alloc<value_type, Alloc> data_allocator;
...
}

 

 

 

第一级配置器 __malloc_alloc_template

 1 // 以下是第一級配置器。
 2 // 注意，無「template 型別參數」。「非型別參數」inst 完全沒派上用場。
 3 template <int inst>
 4 class __malloc_alloc_template {
 5 private:
 6 static void *oom_malloc(size_t);
 7 static void *oom_realloc(void *, size_t);
 8 
 9 #ifndef __STL_STATIC_TEMPLATE_MEMBER_BUG
10  static void (* __malloc_alloc_oom_handler)();
11 #endif
12 
13 public:
14 static void * allocate(size_t n)
15 {
16      void *result = malloc(n); // 第一級配置器直接使用 malloc()
17      if (0 == result) result = oom_malloc(n);
18      return result;
19 }
20 static void deallocate(void *p, size_t /* n */)
21 {
22      free(p); // 第一級配置器直接使用 free()
23 }
24 static void * reallocate(void *p, size_t /* old_sz */, size_t new_sz)
25 {
26      void * result = realloc(p, new_sz); // 第一級配置器直接使用 realloc()
27      if (0 == result) result = oom_realloc(p, new_sz);
28      return result;
29 }
30 // 以下類似 C++ 的 set_new_handler().
31 static void (* set_malloc_handler(void (*f)()))()
32 {
33      void (* old)() = __malloc_alloc_oom_handler;
34      __malloc_alloc_oom_handler = f;
35      return(old);
36 }
37 };
38 // malloc_alloc out-of-memory handling
39 #ifndef __STL_STATIC_TEMPLATE_MEMBER_BUG
40 template <int inst>
41 void (* __malloc_alloc_template<inst>::__malloc_alloc_oom_handler)() = 0;
42 #endif
43 template <int inst>
44 void * __malloc_alloc_template<inst>::oom_malloc(size_t n)
45 {
46      void (* my_malloc_handler)();
47      void *result;
48      for (;;) { // 不斷嘗試釋放、配置、再釋放、再配置…
49          my_malloc_handler = __malloc_alloc_oom_handler;
50          if (0 == my_malloc_handler) { __THROW_BAD_ALLOC; }
51          (*my_malloc_handler)(); // 呼叫處理常式，企圖釋放記憶體。
52          result = malloc(n); // 再次嘗試配置記憶體。
53          if (result) return(result);
54  }
55 }
56 template <int inst>
57 void * __malloc_alloc_template<inst>::oom_realloc(void *p, size_t n)
58 {
59      void (* my_malloc_handler)();
60      void *result;
61      for (;;) { // 不斷嘗試釋放、配置、再釋放、再配置…
62          my_malloc_handler = __malloc_alloc_oom_handler;
63          if (0 == my_malloc_handler) { __THROW_BAD_ALLOC; }
64          (*my_malloc_handler)(); // 呼叫處理常式，企圖釋放記憶體。
65          result = realloc(p, n); // 再次嘗試配置記憶體。
66          if (result) return(result);
67  }
68 }        

 　　可以看到，在正常情况会是使用malloc()来分配内存，使用free()释放内存，使用realloc()来重分配内存，并实现了类似C++ new-handler的机制，因为它并非使用::operator new来分配内存，所以不能直接运用C++ new-handler机制。而C++ new-handler机制，大概就是要求系统在内存配置需求无法被满足时，调用一个你所指定的函数。一旦::operator new无法完成任务，在丢出std::bad_alloc异常状态之前，会先调用由客端指定的处理例程。该例程通常就被称为new-handler。

　　理解这段源码的难点就在于处理内存不足的情况，在allocate()（realloc()同理）调用malloc()不成功后，会改调用oom_malloc()函数，该函数会尝试不断尝试调用__malloc_alloc_oom_handler，期待在某次调用后能够获得足够的内存而完成任务。但我们可以看到__malloc_alloc_oom_handler默认值是设为0的（41行），就是说如果用户没通过set_malloc_handler（31行）来为__malloc_alloc_oom_handler指定一个处理内存不足的函数，那么在oom_malloc()函数内便会直接调用__THROW_BAD_ALLOC（50行），丢出bad_alloc异常。这是我对上述源码的愚见，如有错误请指出。那么现在剩下的问题只有一个了，new-handler在解决内存不足的问题上有特定的模式，那么如何设计一个new-handler函数呢？这个问题留在日后解决......

　　

第二级配置器 __default_alloc_template

　　第二级配置器多了一些机制，避免太多小额区块造成内存的碎片，且还会在配置时带来额外的负担，区块越小，额外负担所占的比例就越大：

 

　　SGI第二级配置器的做法是，如果区块够大，超过128bytes时，就移交给第一级配置器处理。否则，情况就有些复杂，需要一一道来：

　　首先先介绍第二级配置器用到一个内存管理结构——自由链表（free-list），在第二级配置器里会维护16个自由链表，每一个自由链表管理不同大小的区块，分别为8，16，24，32，40，48，56，64，72，80，88，96，104，112，120，128bytes，且第二级配置器会主动将任何小额区块的内存需求量上调至8的倍数（例如用户要求30bytes，就自动调整为32bytes，这决定了使用第几号自由链表）。

 

 

 

　　就一个单独的自由链表而言，其节点用一个union表示：

1  union obj {
2  　　union obj * free_list_link;
3  　　char client_data[1]; /* The client sees this. */
4  };

　　里面的联合体指针就是指向下一个节点的指针，那个char是指向实际内存块的指针，采用联合体可以减少内存的消耗，不必专门维护一个指向下一个节点的指针。

　　当节点所指的内存块是空闲块时，obj被看做一个指针，指向下一个节点，当节点已经被分配了内存之后，被视为一个指针，指向实际区块（free_list_link自动失效）。

　　在一开始，自由链表数组全部被初始化为0，当用户需要某大小的区块（例如94bytes）时，寻找16个自由链表中适当的一个（则为11号），发现其11号自由链表为空，需要分配内存（一般分配40*96bytes大小的内存），在分配内存后会将第一块给用户，剩余一部分（19*96bytes）放进11号自由链表，另一部分（20*16bytes）留在内存池。如果是在自由链表不为空的情况下，例如当用户再需要一块94bytes大小的区块时，则直接把11号链表的表头取出，取出的表头的值（为free_list_link，指向链表第一块空内存块）便会成为用户申请地址返回给用户给用户，然后把表头的值指向的下一块空块作为新的表头。

 1 enum {__ALIGN = 8}; // 小型區塊的上調邊界
 2 enum {__MAX_BYTES = 128}; // 小型區塊的上限
 3 enum {__NFREELISTS = __MAX_BYTES/__ALIGN}; // free-lists 個數
 4 #endif
 5 // 以下是第二級配置器。
 6 // 注意，無「template 型別參數」，且第二參數完全沒派上用場。
 7 template <bool threads, int inst>
 8 class __default_alloc_template {
 9 private:
10 //负责将用户需求的内存大小调整为8的倍数
11  static size_t ROUND_UP(size_t bytes) {
12  　　return (((bytes) + __ALIGN-1) & ~(__ALIGN - 1));
13  }
14 private:
15  union obj {
16  　　union obj * free_list_link;
17  　　char client_data[1]; /* The client sees this. */
18  };
19 private:
20 # ifdef __SUNPRO_CC
21  static obj * __VOLATILE free_list[]; 　　
22  // Specifying a size results in duplicate def for 4.1
23 # else
24  static obj * __VOLATILE free_list[__NFREELISTS]; //自由链表
25 # endif
26 //以下函数根据区块大小，决定使用第n号free-list。n从0起：
27  static size_t FREELIST_INDEX(size_t bytes) {
28  　　return (((bytes) + __ALIGN-1)/__ALIGN - 1);
29  }
30 
31 static void * allocate(size_t n)
32  {/*后述*/}
33 static void deallocate(void *p, size_t n)
34  {/*后述*/}
35 static void * reallocate(void *p, size_t old_sz, size_t new_sz);
36 
37 static void *refill(size_t n);　　//重新填充链表，下节详述
38 
39 static char *chunk_alloc(size_t size, int &nobjs);　　//填充时用于分配内存，下节详述
40 
41  // 内存池指针
42 static char *start_free;
43 static char *end_free;
44 static size_t heap_size;
45 
46 template <bool threads, int inst>char *__default_alloc_template<threads, inst>::start_free = 0;
47 template <bool threads, int inst>char *__default_alloc_template<threads, inst>::end_free = 0;
48 template <bool threads, int inst>size_t __default_alloc_template<threads, inst>::heap_size = 0;
49 }
50 
51 template <bool threads, int inst>__default_alloc_template<threads, inst>::obj * __VOLATILE__
52 default_alloc_template<threads, inst> ::free_list[__NFREELISTS] = {0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, };

空间配置函数allocate()

 1 static void * allocate(size_t n)
 2  {
 3  obj * __VOLATILE * my_free_list;
 4  obj * __RESTRICT result;
 5 //大于128就调用第一级配置器
 6  if (n > (size_t) __MAX_BYTES) {
 7      return(malloc_alloc::allocate(n));
 8  }
 9 //寻找16个自由链表中适当的那个表头
10  my_free_list = free_list + FREELIST_INDEX(n);
11 //表头的值作为该内存块的地址返回给用户
12  result = *my_free_list;
13 //倘若自由链表为空，准备分配内存填充链表
14  if (result == 0) {
15  　　void *r = refill(ROUND_UP(n));    //将n调整为8的倍数再进行内存分配
16  　　return r;
17  }
18 //调整自由链表为表头的下一区块
19  *my_free_list = result -> free_list_link;
20  return (result);
21  };

　　

 

空间释放函数deallocate()：

 1 static void deallocate(void *p, size_t n)
 2  {
 3      obj *q = (obj *)p;    //将要归还的区块转换为联合体obj
 4      obj * __VOLATILE * my_free_list;
 5      if (n > (size_t) __MAX_BYTES) {    //大于128bytes就调用第一级配置器
 6      malloc_alloc::deallocate(p, n);
 7      return;
 8  }
 9     //寻找对应的自由链表
10      my_free_list = free_list + FREELIST_INDEX(n);
11     //将要归还的区块放在表头前，并把它设为表头
12     q -> free_list_link = *my_free_list;
13     *my_free_list = q; 
14  }