《信息安全系统设计基础》第14周学习总结

Posted 2020-08-24 20145336张子扬

20145336张子扬 《信息安全系统设计基础》第14周学习总结

学习目标

• 理解虚拟存储器的概念和作用
• 理解地址翻译的概念
• 理解存储器映射
• 掌握动态存储器分配的方法
• 理解垃圾收集的概念
• 了解C语言中与存储器有关的错误

教材学习内容总结

第九章 虚拟存储器

虚拟存储器3个重要的能力

1. 将主存看作是一个存储在磁盘上的地址空间的高速缓存，在主存中只保护活动的区域，并根据需要在磁盘和主存之间来回传送数据
2. 为每个进程提供了一致的地址空间，从而简化了存储器管理

3. 保护了每个进程的地址空间不被其它进程破坏

4. 物理地址：计算机系统的主存被组织成一个由M个连续的字节大小的单元组成的数组，每字节都有一个唯一的物理地址PA。

5. 虚拟地址：虚拟存储器被组织为一个由存放在磁盘上的N个连续的字节大小的单元组成的数组。使用虚拟寻址时，CPU通过生成一个虚拟地址VA来访问主存，这个虚拟地址在被送到存储器之前先转换成适当的物理地址

地址空间

• 线性地址空间：地址空间中的整数是连续的。
• 虚拟地址空间：CPU从一个有 N=2^n 个地址的地址空间中生成虚拟地址，这个地址空间成为称为虚拟地址空间。
• 地址空间的大小：由表示最大地址所需要的位数来描述。
• 物理地址空间：与系统中的物理存储器的M个字节相对应。
• 虚拟存储器的基本思想：主存中的每个字节都有一个选自虚拟地址空间的虚拟地址和一个选自物理地址空间的物理地址。

虚拟存储器作为缓存的工具

任意时刻，虚拟页面的集合都被分为三个不相交的子集：

未分配的：VM系统还没分配/创建的页，不占用任何磁盘空间。

缓存的：当前缓存在物理存储器中的已分配页

未缓存的：没有缓存在物理存储器中的已分配页

• 虚拟存储器——虚拟页VP，每个虚拟页大小为P=2^平字节
• 物理存储器——物理页PP，也叫页帧，大小也为P字节。

DRAM缓存的组织结构的特点

1. 不命中处罚很大
2. 它是全相联的——任何虚拟页都可以放在任何的物理页中。
3. 替换算法精密
4. 总是使用写回而不是直写

页表

• 页表是一个数据结构，存放在物理存储器中，将虚拟页映射到物理页。

页表就是一个页表条目PTE的数组，组成为：有效位+n位地址字段

设置了有效位：地址字段表示DRAM中相应的物理页的起始位置，这个物理页中缓存了该虚拟页

如果没有设置有效位：(1)空地址： 表示该虚拟页未被分配 (2)不是空地址： 这个地址指向该虚拟页在磁盘上的起始位置。

虚拟存储器作为存储器管理的工具

• 操作系统为每个进程提供了一个独立的页表，也就是一个独立的虚拟地址空间。
• 抖个虚拟页面可以映射到同一个共享物理页面上。
• 存储器映射：将一组连续的虚拟页映射到任意一个文件中的任意位置的表示法。

虚拟存储器作为存储器保护的工具

PTE的三个许可位：

• SUP：表示进程是否必须运行在内核模式下才能访问该页
• READ：读权限
• WRITE：写权限

地址翻译

• 地址翻译是一个N元素的虚拟地址空间（VAS）中的元素和一个M元素的物理地址空间（PAS）之间的映射。

• 页表基址寄存器： CPU中的一个控制寄存器，叫做页表基址寄存器指向当前页表。N位的虚拟地址包含两个部分：一个p位的VPO（虚拟页面偏移）和一个n-p位的VPN。MMU利用VPN来选择适当的PTE。将页表条目中PPN（物理页号）和虚拟地址中的VPO串联起来，就是相应的物理地址。

• 页面命中完全由硬件处理的，而处理缺页要求硬件和OS内核协作完成。

结合高速缓存和虚拟存储器

• 地址翻译发生在高速缓存之前，页表目录可以缓存，就像其他的数据字一样。

利用TLB加速地址翻译

• TLB：翻译后备缓冲器，是一个小的、虚拟存储的缓存，其中每一行都保存着一个由单个PTE组成的块。

多级页表

• 多级页表——采用层次结构，用来压缩页表。如果一级页表中的一个PTE是空的，那么相应的二级页表就根本不会存在 只有一级页表才需要总是在主存中，虚拟存储器系统可以在需要时创建、页面调入或调出二级页表，只有最经常使用的二级页表才缓存在主存中。

储存器映射

存储器映射：Linux通过将一个虚拟存储器区域与一个磁盘上的对象关联起来，以初始化这个虚拟存储器区域的内容的过程。

• 共享对象

共享对象对于所有把它映射到自己的虚拟存储器进程来说都是可见的。

即使映射到多个共享区域，物理存储器中也只需要存放共享对象的一个拷贝。

• 私有对象

私有对象运用的技术：写时拷贝

在物理存储器中只保存有私有对象的一份拷贝

fork函数

1. 当fork函数被当前进程调用时，内核为新进程创建各种数据结构，并分配给它一个唯一的PID。为了给这个新进程创建虚拟存储器，它创建了当前进程的mm_struct、区域结构和页表的原样拷贝。它将两个进程中的每个页面都为标记只读，并将两个进程中的每个区域结构都标记为私有的写时拷贝。

2. 当fork在新进程中返回时，新进程现在的虚拟存储器刚好和调用fork时存在的虚拟存储器相同。当这两个进程中的任一个后来进行写操作时，写时拷贝机制就会创建新页面，因此，也就为每个进程保持了私有地址空间的抽象概念。

execve函数

使用execve函数将a.out程序加载到存储器的过程

Execve("a.out",NULL,NULL);

加载并运行:（1）删除已存在的用户区域（2）映射私有区域（3）映射共享区域（4）设置程序计数器。

使用map函数的用户级存储器映射

创建新的虚拟存储器区域

 #include <unistd.h>
 #include <sys/mman.h>

 void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);

参数含义：

• start：这个区域从start开始
• fd：文件描述符
• length：连续的对象片大小
• offset：距文件开始处的偏移量
• prot：访问权限位

PROT_EXEC:由可以被CPU执行的指令组成

PROT_READ:可读

PROT_WRITE:可写

PROT_NONE:不能被访问

• flag：由描述被映射对象类型的位组成，具体如下：

MAP_ANON:匿名对象，虚拟页面是二进制0

MAP_PRIVATE:私有的、写时拷贝的对象

MAP_SHARED：共享对象

删除虚拟存储器：

    #include <unistd.h>
    #include <sys/mman.h>
    int munmap(void *start, size_t length);

成功返回0，失败返回-1

从start开始删除，由接下来length字节组成的区域

动态存储器分配

当运行时需要额外虚拟存储器时，使用动态存储器分配器维护一个进程的虚拟存储器区域。

分配器有两种风格

• 显示分配器：要求应用显式地释放任何已经分配的块。

• 隐式分配器：要求分配器检测一个已分配块何时不再被程序所使用，就释放这个块。也叫做垃圾收集器。

• malloc函数

系统调用malloc函数，从堆中分配块：

#include <stdlib.h>
void *malloc(size_t size);

成功返回指针，指向大小至少为size字节的存储器块，失败返回NULL

• free函数

系统调用free函数来释放已分配的堆块：

#include <stdlib.h>
void free(void *ptr);

无返回值，ptr参数必须指向一个从malloc、calloc或者reallov获得的已分配块的起始位置

分配器的要求和目标

显示分配器的要求：（1）处理任意请求序列（2）立即响应请求（3）只使用堆（4）对齐块（5）不修改已分配的块

显示分配器的目标：（1）最大化吞吐率:最大化存储器利用率——峰值利用率最大化 （2）吞吐率：每个单位时间里完成的请求数

碎片

分为内部碎片和外部碎片

内部碎片：发生在一个已分配块比有效载荷大的时候，易于量化。

外部碎片：发生在当空闲存储器合计起来足够满足一个分配请求，但是没有一个单独的空间块足以处理这个请求时发生。难以量化，不可预测。

堆块的格式：由一个字的头部，有效荷载，和可能的额外填充组成。

放置已分配的块分配方式有：(1)首次适配：从头开始搜索空闲链表，选择第一个合适的空闲块 (2)下一次适配：从上一次搜索的结束位置开始搜索 (3)最佳适配：检索每个空闲块，选择适合所需请求大小的最小空闲块

申请额外的堆存储器

sbrk函数:

#include <unistd.h
vid *sbrk(intptr_t incr);

成功则返回旧的brk指针，出错为-1

通过将内核的brk指针增加incr来扩展和收缩堆。

合并空闲块的两种策略:(1)立即合并 (2)推迟合并

分离的空闲链表

简单分离存储: 每个大小类的空闲链表包含大小相等的块，每个块的大小就是这个大小类中最大元素的大小。

分离适配:分配一个块：确定请求的大小类，对适当的空闲链表做首次适配，查找一个合适的块，找到一个之后，可选的分割它，并将剩余部分插入适当的空闲链表中，如果找不到合适的块，就搜索下一个更大的大小类的空闲链表，直到找到一个合适的块，如果没有合适的块，就向操作系统请求额外的堆存储器，并从这个新的堆存储器中分配出一个块，将剩余部分放置在适当的大小类中，释放块时，执行合并，并将结果放置在相应的空闲链表里。

伙伴系统:伙伴系统是分离适配的一种特例，每个大小类都是2的幂。

垃圾收集

垃圾收集器：一种动态存储分配器，它自动释放程序不再需要的已分配块，这些块被称为垃圾，自动回收堆存储的过程叫做垃圾收集。

两个阶段：标记、清除

使用函数:

 ptr定义为typedef void *ptr
 ptr isPtr(ptr p)：如果p指向一个已分配块中的某个字，那么就返回一个指向这个块的起始位置的指针b，否则返回NULL
 int blockMarked(ptr b)：如果已经标记了块b，那么就返回true
 int blockAllocated(ptr b)：如果块b是已分配的，那么久返回ture
 void markBlock(ptr b)：标记块b
 int length(ptr b)：返回块b的以字为单位的长度，不包括头部
 void unmarkBlock(ptr b)：将块b的状态由已标记的改为未标记的
 ptr nextBlock(ptr b)：返回堆中块b的后继

C程序中常见的与存储器有关的错误

• 间接引用坏指针

在进程的虚拟地址空间中有较大的洞，没有映射到任何有意义的数据，如果试图引用一个指向这些洞的指针，操作系统就会以段异常来终止程序。 典型的错误是： scanf("%d",val);

读未初始化的存储器

虽然bass存储器位置总是被加载器初始化为0，但对于堆存储器却并不是这样的。 常见的错误就是假设堆存储器被初始化为0.

• 允许栈缓冲区溢出

如果一个程序不检查输入串的大小就写入栈中的目标缓冲区，程序就会出现缓冲区溢出错误。

• 假设指针和指向他们的对象大小是相同的。

一种常见的错误是假设指向对象的指针和他们所指向的对象是大小相同的。

• 造成错位错误
• 引用指针，而不是他所指向的对象
• 误解指针运算
• 引用不存在的变量
• 引起存储器泄露

学习进度条

	代码行数（新增/累积）	博客量（新增/累积）	学习时间（新增/累积）	重要成长
目标	5000行	30篇	400小时
第二周	0/0	1/2	19/20
第三周	80/80	1/3	25/44
第四周	110/190	1/4	23/67
第五周	60/250	2/6	26/93
第六周	80/330	2/8	25/118
第七周	60/390	1/9	25/133
第八周	0/390	2/11	22/155
第九周	70/460	2/13	23/178
第十周	375/835	2/15	22/200
第十一周	880/1715	2/17	26/226
第十二周	0/1715	3/20	25/251
第十三周	600/2315	1/21	22/273
第十四周	0/2315	1/22	23/276