数据结构中的堆和栈 与 内存分配中的堆区和栈区 分析

Posted 2020-09-24 jzssuanfa

比較全面的总结了诸多版本号，知识无国界。感谢各位的辛勤劳作。

在计算机领域，堆栈是一个不容忽视的概念，我们编写的C/C++语言程序基本上都要用到。但对于非常多的初学着来说，堆栈是一个非常模糊的概念。

（1） 数据结构的栈和堆

首先在数据结构上要知道堆栈，虽然我们这么称呼它，但实际上堆栈是两种数据结构：堆和栈。

    堆和栈都是一种数据项按序排列的数据结构。

栈就像装数据的桶或箱子
    我们先从大家比較熟悉的栈说起吧。它是一种具有后进先出性质的数据结构，也就是说后存放的先取。先存放的后取。这就如同我们要取出放在箱子里面底下的东西（放入的比較早的物体），我们首先要移开压在它上面的物体（放入的比較晚的物体）。

堆像一棵倒过来的树
而堆就不同了。堆是一种经过排序的树形数据结构。每一个结点都有一个值。

通常我们所说的堆的数据结构，是指二叉堆。堆的特点是根结点的值最小（或最大）。且根结点的两个子树也是一个堆。因为堆的这个特性，经常使用来实现优先队列，堆的存取是随意。这就如同我们在图书馆的书架上取书，尽管书的摆放是有顺序的。可是我们想取随意一本时不必像栈一样，先取出前面全部的书。书架这样的机制不同于箱子，我们能够直接取出我们想要的书。

（2） 内存分配中的栈和堆

内存中的栈区处于相对较高的地址以地址的增长方向为上的话，栈地址是向下增长的。栈中分配局部变量空间。堆区是向上增长的用于分配程序猿申请的内存空间。另外还有静态
区是分配静态变量，全局变量空间的；仅仅读区是分配常量和程序代码空间的；以及其它一些分区。

一、预备知识—程序的内存分配
一个由c/C++编译的程序占用的内存分为下面几个部分
1、栈区（stack）— 由编译器自己主动分配释放 。存放函数的參数值，局部变量的值等。其操作方式类似于数据结构中的栈。
2、堆区（heap） — 一般由程序猿分配释放。 若程序猿不释放，程序结束时可能由OS回收 。注意它与数据结构中的堆是两回事，分配方式倒是类似于链表，呵呵。
3、全局区（静态区）（static）—。全局变量和静态变量的存储是放在一块的，初始化的全局变量和静态变量在一块区域， 未初始化的全局变量和未初始化的静态变量在相邻的还有一块区域。 - 程序结束后有系统释放 
4、文字常量区—常量字符串就是放在这里的。 程序结束后由系统释放
5、程序代码区—存放函数体的二进制代码。
二、样例程序 
这是一个前辈写的，很具体 
//main.cpp 
int a = 0; 全局初始化区 
char *p1; 全局未初始化区 
main() 
{ 
int b; 栈 
char s[] = "abc"; 栈 
char *p2; 栈 
char *p3 = "123456"; 123456\0在常量区，p3在栈上。 
static int c =0； 全局（静态）初始化区 
p1 = (char *)malloc(10); 
p2 = (char *)malloc(20); 
分配得来得10和20字节的区域就在堆区。

 
strcpy(p1, "123456"); 123456\0放在常量区。编译器可能会将它与p3所指向的"123456"优化成一个地方。 
}


二、堆和栈的理论知识 
2.1申请方式 
stack: 
由系统自己主动分配。

比如。声明在函数中一个局部变量 int b; 系统自己主动在栈中为b开辟空间 
heap: 
须要程序猿自己申请。并指明大小，在c中malloc函数 
如p1 = (char *)malloc(10); 
在C++中用new运算符 
如p2 = (char *)malloc(10); 
可是注意p1、p2本身是在栈中的。

2.2 
申请后系统的响应 
栈：仅仅要栈的剩余空间大于所申请空间，系统将为程序提供内存，否则将报异常提示栈溢出。 
堆：首先应该知道操作系统有一个记录空暇内存地址的链表，当系统收到程序的申请时， 
会遍历该链表，寻找第一个空间大于所申请空间的堆结点，然后将该结点从空暇结点链表中删除，并将该结点的空间分配给程序，另外，对于大多数系统，会在这块内存空间中的首地址处记录本次分配的大小，这样。代码中的delete语句才干正确的释放本内存空间。

另外。因为找到的堆结点的大小不一定正好等于申请的大小。系统会自己主动的将多余的那部分又一次放入空暇链表中。

2.3申请大小的限制 
栈：在Windows下,栈是向低地址扩展的数据结构。是一块连续的内存的区域。这句话的意思是栈顶的地址和栈的最大容量是系统预先规定好的，在WINDOWS下。栈的大小是2M（也有的说是1M，总之是一个编译时就确定的常数），假设申请的空间超过栈的剩余空间时，将提示overflow。因此，能从栈获得的空间较小。

 
堆：堆是向高地址扩展的数据结构，是不连续的内存区域。这是因为系统是用链表来存储的空暇内存地址的，自然是不连续的，而链表的遍历方向是由低地址向高地址。

堆的大小受限于计算机系统中有效的虚拟内存。由此可见，堆获得的空间比較灵活。也比較大。

2.4申请效率的比較： 
栈由系统自己主动分配，速度较快。但程序猿是无法控制的。

 
堆是由new分配的内存，一般速度比較慢。并且easy产生内存碎片,只是用起来最方便. 
另外。在WINDOWS下，最好的方式是用VirtualAlloc分配内存，他不是在堆。也不是在栈是直接在进程的地址空间中保留一快内存。尽管用起来最不方便。可是速度快，也最灵活。
2.5堆和栈中的存储内容 
栈： 在函数调用时，第一个进栈的是主函数中后的下一条指令（函数调用语句的下一条可运行语句）的地址，然后是函数的各个參数。在大多数的C编译器中。參数是由右往左入栈的，然后是函数中的局部变量。注意静态变量是不入栈的。

 
当本次函数调用结束后，局部变量先出栈。然后是參数。最后栈顶指针指向最開始存的地址。也就是主函数中的下一条指令，程序由该点继续执行。

 
堆：通常是在堆的头部用一个字节存放堆的大小。

堆中的详细内容有程序猿安排。
2.6存取效率的比較
char s1[] = "aaaaaaaaaaaaaaa"; 
char *s2 = "bbbbbbbbbbbbbbbbb"; 
aaaaaaaaaaa是在执行时刻赋值的； 
而bbbbbbbbbbb是在编译时就确定的。 
可是，在以后的存取中。在栈上的数组比指针所指向的字符串(比如堆)快。 
比方： 
#include 
void main() 
{ 
char a = 1; 
char c[] = "1234567890"; 
char *p ="1234567890"; 
a = c[1]; 
a = p[1]; 
return; 
} 
相应的汇编代码 
10: a = c[1]; 
00401067 8A 4D F1 mov cl,byte ptr [ebp-0Fh] 
0040106A 88 4D FC mov byte ptr [ebp-4],cl 
11: a = p[1]; 
0040106D 8B 55 EC mov edx,dword ptr [ebp-14h] 
00401070 8A 42 01 mov al,byte ptr [edx+1] 
00401073 88 45 FC mov byte ptr [ebp-4],al 
第一种在读取时直接就把字符串中的元素读到寄存器cl中，而另外一种则要先把指针值读到edx中。在依据edx读取字符，显然慢了。

2.7小结： 
堆和栈的差别能够用例如以下的比喻来看出： 
使用栈就象我们去饭馆里吃饭。仅仅管点菜（发出申请）、付钱、和吃（使用），吃饱了就走，不必理会切菜、洗菜等准备工作和洗碗、刷锅等扫尾工作，他的优点是快捷，可是自由度小。 
使用堆就象是自己动手做喜欢吃的菜肴。比較麻烦。可是比較符合自己的口味，并且自由度大。
windows进程中的内存结构


在阅读本文之前，假设你连堆栈是什么多不知道的话，请先阅读文章后面的基础知识。
接触过编程的人都知道。高级语言都能通过变量名来訪问内存中的数据。那么这些变量在内存中是怎样存放的呢？程序又是怎样使用这些变量的呢？以下就会对此进行深入的讨论。

下文中的C语言代码如没有特别声明，默认都使用VC编译的release版。
首先，来了解一下 C 语言的变量是怎样在内存分部的。

C 语言有全局变量(Global)、本地变量(Local)，静态变量(Static)、寄存器变量(Regeister)。每种变量都有不同的分配方式。先来看以下这段代码：
#include <stdio.h>
int g1=0, g2=0, g3=0;
int main() 
{ 
static int s1=0, s2=0, s3=0; 
int v1=0, v2=0, v3=0;
//打印出各个变量的内存地址
printf("0x%08x\n",&v1); //打印各本地变量的内存地址 
printf("0x%08x\n",&v2); 
printf("0x%08x\n\n",&v3); 
printf("0x%08x\n",&g1); //打印各全局变量的内存地址 
printf("0x%08x\n",&g2); 
printf("0x%08x\n\n",&g3); 
printf("0x%08x\n",&s1); //打印各静态变量的内存地址 
printf("0x%08x\n",&s2); 
printf("0x%08x\n\n",&s3); 
return 0; 
}
编译后的运行结果是：
0x0012ff78 
0x0012ff7c 
0x0012ff80
0x004068d0 
0x004068d4 
0x004068d8
0x004068dc 
0x004068e0 
0x004068e4
输出的结果就是变量的内存地址。

当中v1,v2,v3是本地变量。g1,g2,g3是全局变量。s1,s2,s3是静态变量。

你能够看到这些变量在内存是连续分布的。可是本地变量和全局变量分配的内存地址差了十万八千里。而全局变量和静态变量分配的内存是连续的。

这是由于本地变量和全局/静态变量是分配在不同类型的内存区域中的结果。对于一个进程的内存空间而言，能够在逻辑上分成3个部份：代码区，静态数据区和动态数据区。动态数据区一般就是“堆栈”。“栈(stack)”和“堆(heap)”是两种不同的动态数据区。栈是一种线性结构，堆是一种链式结构。进程的每一个线程都有私有的“栈”，所以每一个线程尽管代码一样，但本地变量的数据都是互不干扰。

一个堆栈能够通过“基地址”和“栈顶”地址来描写叙述。全局变量和静态变量分配在静态数据区，本地变量分配在动态数据区，即堆栈中。程序通过堆栈的基地址和偏移量来訪问本地变量。


├———————┤低端内存区域 
│ …… │ 
├———————┤ 
│ 动态数据区 │ 
├———————┤ 
│ …… │ 
├———————┤ 
│ 代码区 │ 
├———————┤ 
│ 静态数据区 │ 
├———————┤ 
│ …… │ 
├———————┤高端内存区域


堆栈是一个先进后出的数据结构，栈顶地址总是小于等于栈的基地址。

我们能够先了解一下函数调用的过程，以便对堆栈在程序中的作用有更深入的了解。不同的语言有不同的函数调用规定，这些因素有參数的压入规则和堆栈的平衡。

windows API的调用规则和ANSI C的函数调用规则是不一样的，前者由被调函数调整堆栈，后者由调用者调整堆栈。

两者通过“__stdcall”和“__cdecl”前缀区分。先看以下这段代码：
#include <stdio.h>
void __stdcall func(int param1,int param2,int param3) 
{ 
int var1=param1; 
int var2=param2; 
int var3=param3; 
printf("0x%08x\n",?m1); //打印出各个变量的内存地址 
printf("0x%08x\n",?m2); 
printf("0x%08x\n\n",?m3); 
printf("0x%08x\n",&var1); 
printf("0x%08x\n",&var2); 
printf("0x%08x\n\n",&var3); 
return; 
}
int main() 
{ 
func(1,2,3); 
return 0; 
}
编译后的运行结果是：
0x0012ff78 
0x0012ff7c 
0x0012ff80
0x0012ff68 
0x0012ff6c 
0x0012ff70


├———————┤<—函数运行时的栈顶（ESP）、低端内存区域 
│ …… │ 
├———————┤ 
│ var 1 │ 
├———————┤ 
│ var 2 │ 
├———————┤ 
│ var 3 │ 
├———————┤ 
│ RET │ 
├———————┤<—“__cdecl”函数返回后的栈顶（ESP） 
│ parameter 1 │ 
├———————┤ 
│ parameter 2 │ 
├———————┤ 
│ parameter 3 │ 
├———————┤<—“__stdcall”函数返回后的栈顶（ESP） 
│ …… │ 
├———————┤<—栈底（基地址 EBP）、高端内存区域


上图就是函数调用过程中堆栈的样子了。首先，三个參数以从又到左的次序压入堆栈。先压“param3”，再压“param2”，最后压入“param1”；然后压入函数的返回地址(RET)。接着跳转到函数地址接着运行（这里要补充一点，介绍UNIX下的缓冲溢出原理的文章中都提到在压入RET后，继续压入当前EBP，然后用当前ESP取代EBP。

然而。有一篇介绍windows下函数调用的文章中说，在windows下的函数调用也有这一步骤，但依据我的实际调试，并未发现这一步。这还能够从param3和var1之间仅仅有4字节的间隙这点看出来）；第三步，将栈顶(ESP)减去一个数。为本地变量分配内存空间，上例中是减去12字节(ESP=ESP-3*4，每一个int变量占用4个字节)；接着就初始化本地变量的内存空间。因为“__stdcall”调用由被调函数调整堆栈，所以在函数返回前要恢复堆栈。先回收本地变量占用的内存(ESP=ESP+3*4)，然后取出返回地址。填入EIP寄存器。回收先前压入參数占用的内存(ESP=ESP+3*4)，继续运行调用者的代码。參见下列汇编代码：
;--------------func 函数的汇编代码-------------------
:00401000 83EC0C sub esp, 0000000C //创建本地变量的内存空间 
:00401003 8B442410 mov eax, dword ptr [esp+10] 
:00401007 8B4C2414 mov ecx, dword ptr [esp+14] 
:0040100B 8B542418 mov edx, dword ptr [esp+18] 
:0040100F 89442400 mov dword ptr [esp], eax 
:00401013 8D442410 lea eax, dword ptr [esp+10] 
:00401017 894C2404 mov dword ptr [esp+04], ecx
……………………（省略若干代码）
:00401075 83C43C add esp, 0000003C ;恢复堆栈，回收本地变量的内存空间 
:00401078 C3 ret 000C ;函数返回，恢复參数占用的内存空间 
;假设是“__cdecl”的话，这里是“ret”，堆栈将由调用者恢复
;-------------------函数结束-------------------------


;--------------主程序调用func函数的代码--------------
:00401080 6A03 push 00000003 //压入參数param3 
:00401082 6A02 push 00000002 //压入參数param2 
:00401084 6A01 push 00000001 //压入參数param1 
:00401086 E875FFFFFF call 00401000 //调用func函数 
;假设是“__cdecl”的话，将在这里恢复堆栈。“add esp, 0000000C”
聪明的读者看到这里，差点儿相同就明确缓冲溢出的原理了。先来看以下的代码：
#include <stdio.h> 
#include <string.h>
void __stdcall func() 
{ 
char lpBuff[8]="\0"; 
strcat(lpBuff,"AAAAAAAAAAA"); 
return; 
}
int main() 
{ 
func(); 
return 0; 
}
编译后运行一下回怎么样？哈，“"0x00414141"指令引用的"0x00000000"内存。该内存不能为"read"。”，“非法操作”喽！"41"就是"A"的16进制的ASCII码了，那明显就是strcat这句出的问题了。"lpBuff"的大小仅仅有8字节，算进结尾的\0，那strcat最多仅仅能写入7个"A"。但程序实际写入了11个"A"外加1个\0。再来看看上面那幅图，多出来的4个字节正好覆盖了RET的所在的内存空间，导致函数返回到一个错误的内存地址，运行了错误的指令。假设能精心构造这个字符串。使它分成三部分，前一部份仅仅是填充的无意义数据以达到溢出的目的，接着是一个覆盖RET的数据。紧接着是一段shellcode，那仅仅要着个RET地址能指向这段shellcode的第一个指令，那函数返回时就能运行shellcode了。

可是软件的不同版本号和不同的运行环境都可能影响这段shellcode在内存中的位置，那么要构造这个RET是十分困难的。一般都在RET和shellcode之间填充大量的NOP指令，使得exploit有更强的通用性。

├———————┤<—低端内存区域 
│ …… │ 
├———————┤<—由exploit填入数据的開始 
│ │ 
│ buffer │<—填入没用的数据 
│ │ 
├———————┤ 
│ RET │<—指向shellcode。或NOP指令的范围 
├———————┤ 
│ NOP │ 
│ …… │<—填入的NOP指令，是RET可指向的范围 
│ NOP │ 
├———————┤ 
│ │ 
│ shellcode │ 
│ │ 
├———————┤<—由exploit填入数据的结束 
│ …… │ 
├———————┤<—高端内存区域


windows下的动态数据除了可存放在栈中，还能够存放在堆中。了解C++的朋友都知道，C++能够使用newkeyword来动态分配内存。来看以下的C++代码：
#include <stdio.h> 
#include <iostream.h> 
#include <windows.h>
void func() 
{ 
char *buffer=new char[128]; 
char bufflocal[128]; 
static char buffstatic[128]; 
printf("0x%08x\n",buffer); //打印堆中变量的内存地址 
printf("0x%08x\n",bufflocal); //打印本地变量的内存地址 
printf("0x%08x\n",buffstatic); //打印静态变量的内存地址 
}
void main() 
{ 
func(); 
return; 
}
程序运行结果为：
0x004107d0 
0x0012ff04 
0x004068c0
能够发现用newkeyword分配的内存即不在栈中，也不在静态数据区。

VC编译器是通过windows下的“堆(heap)”来实现newkeyword的内存动态分配。在讲“堆”之前。先来了解一下和“堆”有关的几个API函数：
HeapAlloc 在堆中申请内存空间 
HeapCreate 创建一个新的堆对象 
HeapDestroy 销毁一个堆对象 
HeapFree 释放申请的内存 
HeapWalk 枚举堆对象的全部内存块 
GetProcessHeap 取得进程的默认堆对象 
GetProcessHeaps 取得进程全部的堆对象 
LocalAlloc 
GlobalAlloc
当进程初始化时，系统会自己主动为进程创建一个默认堆。这个堆默认所占内存的大小为1M。

堆对象由系统进行管理。它在内存中以链式结构存在。通过以下的代码能够通过堆动态申请内存空间：
HANDLE hHeap=GetProcessHeap(); 
char *buff=HeapAlloc(hHeap,0,8);
当中hHeap是堆对象的句柄。buff是指向申请的内存空间的地址。

那这个hHeap到底是什么呢？它的值有什么意义吗？看看以下这段代码吧：
#pragma comment(linker,"/entry:main") //定义程序的入口 
#include <windows.h>
_CRTIMP int (__cdecl *printf)(const char *, ...); //定义STL函数printf 
/*--------------------------------------------------------------------------- 
写到这里，我们顺便来复习一下前面所讲的知识： 
(*注)printf函数是C语言的标准函数库中函数，VC的标准函数库由msvcrt.dll模块实现。 
由函数定义可见。printf的參数个数是可变的，函数内部无法预先知道调用者压入的參数个数，函数仅仅能通过分析第一个參数字符串的格式来获得压入參数的信息，因为这里參数的个数是动态的。所以必须由调用者来平衡堆栈，这里便使用了__cdecl调用规则。BTW，Windows系统的API函数基本上是__stdcall调用形式，仅仅有一个API例外，那就是wsprintf，它使用__cdecl调用规则。同printf函数一样，这是因为它的參数个数是可变的缘故。

 
---------------------------------------------------------------------------*/ 
void main() 
{ 
HANDLE hHeap=GetProcessHeap(); 
char *buff=HeapAlloc(hHeap,0,0x10); 
char *buff2=HeapAlloc(hHeap,0,0x10); 
HMODULE hMsvcrt=LoadLibrary("msvcrt.dll"); 
printf=(void *)GetProcAddress(hMsvcrt,"printf"); 
printf("0x%08x\n",hHeap); 
printf("0x%08x\n",buff); 
printf("0x%08x\n\n",buff2); 
}
运行结果为：
0x00130000 
0x00133100 
0x00133118
hHeap的值怎么和那个buff的值那么接近呢？事实上hHeap这个句柄就是指向HEAP首部的地址。

在进程的用户区存着一个叫PEB(进程环境块)的结构，这个结构中存放着一些有关进程的重要信息，当中在PEB首地址偏移0x18处存放的ProcessHeap就是进程默认堆的地址。而偏移0x90处存放了指向进程全部堆的地址列表的指针。windows有非常多API都使用进程的默认堆来存放动态数据，如windows 2000下的全部ANSI版本号的函数都是在默认堆中申请内存来转换ANSI字符串到Unicode字符串的。

对一个堆的訪问是顺序进行的，同一时刻仅仅能有一个线程訪问堆中的数据。当多个线程同一时候有訪问要求时，仅仅能排队等待，这样便造成程序运行效率下降。
最后来说说内存中的数据对齐。所位数据对齐。是指数据所在的内存地址必须是该数据长度的整数倍。DWORD数据的内存起始地址能被4除尽。WORD数据的内存起始地址能被2除尽，x86 CPU能直接訪问对齐的数据，当他试图訪问一个未对齐的数据时，会在内部进行一系列的调整。这些调整对于程序来说是透明的。可是会减少执行速度，所以编译器在编译程序时会尽量保证数据对齐。相同一段代码。我们来看看用VC、Dev-C++和lcc三个不同编译器编译出来的程序的执行结果：
#include <stdio.h>
int main() 
{ 
int a; 
char b; 
int c; 
printf("0x%08x\n",&a); 
printf("0x%08x\n",&b); 
printf("0x%08x\n",&c); 
return 0; 
}
这是用VC编译后的运行结果： 
0x0012ff7c 
0x0012ff7b 
0x0012ff80 
变量在内存中的顺序：b(1字节)-a(4字节)-c(4字节)。
这是用Dev-C++编译后的运行结果： 
0x0022ff7c 
0x0022ff7b 
0x0022ff74 
变量在内存中的顺序：c(4字节)-中间相隔3字节-b(占1字节)-a(4字节)。
这是用lcc编译后的运行结果： 
0x0012ff6c 
0x0012ff6b 
0x0012ff64 
变量在内存中的顺序：同上。
三个编译器都做到了数据对齐，可是后两个编译器显然没VC“聪明”，让一个char占了4字节，浪费内存哦。


基础知识： 
堆栈是一种简单的数据结构，是一种仅仅同意在其一端进行插入或删除的线性表。

同意插入或删除操作的一端称为栈顶，还有一端称为栈底，对堆栈的插入和删除操作被称为入栈和出栈。有一组CPU指令能够实现对进程的内存实现堆栈訪问。当中，POP指令实现出栈操作，PUSH指令实现入栈操作。CPU的ESP寄存器存放当前线程的栈顶指针。EBP寄存器中保存当前线程的栈底指针。CPU的EIP寄存器存放下一个CPU指令存放的内存地址，当CPU运行完当前的指令后，从EIP寄存器中读取下一条指令的内存地址，然后继续运行。