2017-2018-1 20155204 《信息安全系统设计基础》第十一周学习总结

Posted 2020-10-16

2017-2018-1 20155204 《信息安全系统设计基础》第十一周学习总结

教材学习内容总结

9.1物理和虚拟地址

1. 物理地址：计算机系统的主存被组织成一个人由M个连续的字节到校的单元组成的数组。每字节都有一个唯一的物理地址。第一个字节的地CPU生成址为0，接下来的字节地址为1，再下一个是2，依次类推。给定这种简单的结构，CPU访问存储器的最自然的方式就是使用物理地址。

2. 虚拟地址：CPU生成一个虚拟地址来访问主存，这个虚拟地址在被送到存储器之前先转换成适当的物理地址。

9.2地址空间

1. 地址空间：一个非负整数地址的有序集合。

2. 线性地址空间：地址空间中的整数是连续的

3. 虚拟地址空间：一个带有虚拟存储器的系统中，CPU从一个有N=2^n个地址的地址空间中生成虚拟地址，这个地址空间称为虚拟地址空间。

9.3虚拟存储器作为缓存的工具

1. 虚拟存储器被组织为一个由存放在磁盘上的N个连续的字节大小的单元组成的数组，每个字节都有一个唯一的虚拟地址，这个唯一的虚拟地址是作为到数组的索引的。

2. VM系统通过将虚拟存储器分割为称为虚拟页的大小固定的块作为磁盘和主存之间的传输单元，每个虚拟页大小为P=2^p。物理存储器被分割为大小也为P字节的物理页称为帧。

3. 在任意时刻，虚拟页的集合通常被分为三个不相交的子集：未分配的、缓存的、未缓存的DRAM缓存不命中称为缺页。当cpu引用一个DRAM中的一个字时，该字并未缓存在DRAM中，地址翻译硬件从存储器中读出这个字，从有效位推断它未被缓存，并且触发一个缺页异常。缺页异常再调用内核中的缺页异常处理程序，选择一个牺牲页并拷贝引用的字回磁盘，更新并返回。

9.4虚拟存储器作为存储器管理的工具

1. 按需页面调度和独立的虚拟地址空间的结合，对系统中存储器的使用和管理造成了深远的影响。特别地，VM简化了链接和加载、代码和数据共享，以及应用程序的存储器分配。

2. 简化链接：独立的地址空间允许每个进程为它的存储器映像使用相同的基本格式，因而不管代码和数据实际存放在物理存储器的何处，它的一致性极大地简化了链接器的设计和实现，允许生成全链接的可执行文件，这些可执行文件是独立于物理存储器中代码和数据的最终位置的。
   简化加载：虚拟存储器使得容易向存储器中加载可执行文件和共享文件对象。系统加载时只需分配那些数据和代码区域的连续的虚拟页面区域，将它们标识为无效，且页面条目地址指向目标文件中适当的位置。

3. 简化共享：操作系统通过不同进程的页表，将各自的私有的数据和代码映射到不同的物理页面；而对共享的代码和数据，就将适当的虚拟页面映射到相同的物理页面，从而安排多个进程共享这部分代码的一个拷贝。

4. 简化存储器分配：由于页表的工作方式，操作系统只需分配一个适当数字个连续的虚拟存储器页面，但可以映射到任意分散的物理存储器中。

5. 一个概念：将一组连续的虚拟页面映射到任意一个文件中的任意一个位置的表示法叫做存储器映射。

9.5虚拟存储器作为存储器保护的工具

在PTE上添加一些额外的许可位来控制对一个虚拟页面内容的访问。例如：SUP位表示进程是否必须运行在内核模式下才能访问网页；READ位和WRITE位的读和写进行访问。如果一条指令违反了这些许可条件，那么cpu就触发一个一般保护故障，将控制传递给一个内核中的异常处理程序。

9.6地址翻译

1. 形式上说。地址翻译是一个N元素的虚拟地址空间（VAS）中元素和一个M元素的物理地址空间（PAS）中元素的映射。

2. 使用页表的地址翻译：页表基址寄存器指向当前页表，通过n位的虚拟地址中n-p位的虚拟页号（VPN）从页表中选出适当的页表条目，将页表条目中中的物理页号（PPN）和虚拟地址中的p位虚拟页面偏移（VPO）串联起来，得到物理地址。因为VPO和PPO是相同的。

3. 页命中时CPU硬件执行的步骤：
   处理器生成一个虚拟地址，并把它传送给MMU
   MMU生成PTE地址，并从高速缓存/主存请求得到它
   高速缓存/主存向MMU返回PTE
   MMU构造物理地址，并把它传送给高速缓存/主存
   高速缓存/主存返回所请求数据给处理器。

4. 处理缺页：
   第一步到第三步和页面命中步骤内容相同
   PTE有效位为0，所以MMU触发了一次异常，传递cpu中的控制到操作系统内核的缺页处理程序
   缺页处理程序确定出物理存储器中牺牲页，若牺牲页已被修改过，则将其换到磁盘
   缺页处理程序调入新的页面，并更新存储器中的PTE
   缺页处理程序返回到原来的进程，驱使导致缺页的指令重新启动，会出现页面命中接下来的步骤。

5. 结合高速缓存和虚拟存储器
   当既使用虚拟存储器又使用SRAM高速缓存的系统中，一般使用物理寻址，多个进程同时在高速缓存中有存储块和共享来自相同虚拟页面的块将成为简单的事情，而且地址翻译将处理保护问题。
   主要的思路：将地址翻译发生在高速缓存查找之前。

6. 多级页表一个系统若只有一个页表会造成需要一个很大的空间来储存页表且远远大于应用所需，所以一般采用多级页表结构。一般虚拟地址被划分为K个VPN和1个VPO，每个VPNi都是一个到第i级页表的索引，当i<k时，第i级页表中的每个PTE都是指向第i+1级的某个页表的基址，而第K级页表中的PTE都包含某个物理页面的PPN或者一个磁盘块的地址。
   以下两个方法减少了对存储器要求：

• 如果一级页表中的PTE为空，那么相应的二级页表就不存在

• 只有一级页表才需要总是在主存中；只有最经常使用的二级页表才需要缓存在主存中。

9.8存储器映射

通过将一个虚拟存储器区域与一个磁盘上的对象关联起来，以初始化这个虚拟存储器区域的内容，这个过程叫做存储器映射。

虚拟存储器区域可以映射到两种类型的对象：

• 普通文件：一个区域可以映射到一个普通磁盘的其他部分。
• 匿名文件：内核创建的，包含的全是二进制零。
  再看共享对象

一个对象可以被映射到虚拟存储器的一个区域，要么作为共享对象，要么作为私有对象。

对共享对象，某个进程的任何写操作于那些也把这个共享对象映射到它们虚拟存储器中的其它进
程而言也是可见的，这些变化会反映到磁盘中的原始文件上；而对私有对象，某个进程的任何写操作对其它进程来说都是不可见的。

私有对象一般使用一种写时拷贝的技术来映射到虚拟存储器中。一个私有对象开始时与共享对象一样，都是每个进程虚拟空间中各自有一个映射，但物理存储器中只有一份拷贝。而当到某个进程试图写私有对象的某个区域时，会触发一个保护故障，故障处理程序就会在物理存储器中创建这个页面的一个新拷贝，并更新相应PTE和恢复写权限，再将控制返回到写指令处。

9.9动态存储器分配

1. 大多数C程序在运行时需要额外虚拟存储器时，会使用一个动态存储器分配器，它维护者一个进程的虚拟存储器区域，称为堆。堆是一个请求二进制零的区域，它紧接在未初始化的bss区域后开始，并向上生长，对于每个进程，内核维护着一个变量brk，它指向堆的顶部。

2. 分配器将堆视为一组不同大小的块的集合来维护，每个块就是虚拟存储器组块，分配的或空闲的。分配的供应用使用或被进程释放，空闲的等待被应用所分配。

分配器有两种基本风格：

• 显式分配器：要求程序显式地释放任何已分配的块
• 隐式分配器：（也叫垃圾收集器）要求分配器检测何时一个已分配块不再被程序使用，然后释放这个块。

1. malloc和free函数
   C标准库提供了称为malloc程序包的显式分配器，可以调用它来从堆中分配块。Malloc不会初始化它返回的存储器。Free用来释放已分配的堆块，注意其参数必须指向一个从malloc中获得的已分配块的起始位置。

2. 为什么要使用动态分配器分配：
   程序使用动态存储器分配的最重要的原因是它经常直到程序实际运行时才知道某些数据结构的大小。

3. 分配器的要求：
   处理任意请求序列
   立即响应请求
   只使用堆
   对齐块
   不修改已分配的块。
   最大化吞吐率：每个单位时间里完成的请求数，包括分配请求和释放请求
   最大化存储器利用率：可通过峰值利用率Uk来测量，一般为聚集有效载荷Pk和当前堆大小的比值。
   碎片

-------------------，

1. 隐式空闲链表：

通过将空闲块和已分配块的头部的信息将这些块连接起来直到最后一个设置了已分配位和大小为零的终止头部，成为一个链表结构。

1. 放置已分配的块：

当应用请求一个K字节的块时，分配器搜索空闲链表，并查找出足够大、可以放置所请求的空闲块的方式。一般有首次适配、下一次适配和最佳适配策略。

1. 分配空闲块：

当查找出空闲块后决定分配这个块中多少空间给分配请求。

两个选择：

用整个空闲块：容易造成内部碎片
分割空闲块：一部分变为分割快，一部分变成一个新的空闲块。
获得额外的对存储器

当分配器不能为请求块找到合适的空闲块时，通常会合并空闲块或者向内核请求额外的堆存储器。

1. 合并空闲段块

假碎片：两个相邻的空闲块没有被合为一块。任何实际的分配器都必须合并相邻的空闲块，这个过程称为合并。

9.10垃圾收集

1. 垃圾收集：应用负责释放不再需要的已分配块。

2. 垃圾收集器：一种动态存储分配器。它将存储器视为一张有向可达图，它的角色是维护可达图的某种表示，并通过释放不可达节点并将它们返回给空闲链表，来定期回收它们。

3. Mark&Sweep垃圾收集器：

由标记阶段和清除阶段组成，标记阶段标记出根节点的所有可达的和已分配的后继，清除阶段释放每个未标记的已分配块。

9.11C程序中常见的与存储器有关的错误

• 间接引用坏指针
• 读未初始化的存储器
• 允许栈缓冲区溢出
• 假设指针和它们执行的对象是相同大小的
• 造成错位错误
• 误解指针运算
• 引用不存在的变量
• 引用空闲堆块中的数据
• 引起存储器泄露

教材学习中的问题和解决过程

• 问题1：造成堆利用率低的主要原因是什么？
• 问题1解决方案： 在虽然有未使用的存储器但不能满足分配请求时就称出现碎片。碎片又分为——内部碎片：一个已分配块比有效载荷大时发生的；外部碎片：是当空闲存储器合计起来足够满足一个分配请求，但没有一个单独的空闲块足够大到可以来处理这个请求而发生的。
• 问题2：如何理解常见错误中的允许栈缓冲区溢出？
• 问题2解决方案：栈溢出就是缓冲区溢出的一种。 由于缓冲区溢出而使得有用的存储单元被改写,往往会引发不可预料的后果。程序在运行过程中，为了临时存取数据的需要，一般都要分配一些内存空间，通常称这些空间为缓冲区。如果向缓冲区中写入超过其本身长度的数据，以致于缓冲区无法容纳，就会造成缓冲区以外的存储单元被改写，这种现象就称为缓冲区溢出。缓冲区长度一般与用户自己定义的缓冲变量的类型有关。

代码托管

本周结对学习情况

- [20155203](http://www.cnblogs.com/xhwh/p/7940497.html)
- 结对学习内容
    课下练习、一起读书、一起研究课下测试。

学习进度条

	代码行数（新增/累积）	博客量（新增/累积）	学习时间（新增/累积）	重要成长
目标	5000行	30篇	400小时
第一周	200/200	2/2	20/20
第二周	300/500	2/4	18/38
第三周	500/1000	3/7	22/60
第四周	300/1300	2/9	30/90
第五周	200/1500	2/11	10/100
第六周	200/1700	2/13	10/110
第七周	302/2020	1/14	10/120
第八周	892/2912	1/14	10/130
第九周	892/2912	3/17	10/140
第十周	239/3151	0/17	10/150
第十一周	181/3332	2/19	10/160

尝试一下记录「计划学习时间」和「实际学习时间」，到期末看看能不能改进自己的计划能力。这个工作学习中很重要，也很有用。
耗时估计的公式
：Y=X+X/N ，Y=X-X/N，训练次数多了，X、Y就接近了。

参考：软件工程软件的估计为什么这么难，软件工程 估计方法

• 计划学习时间:10小时

• 实际学习时间:10小时

• 改进情况：

(有空多看看现代软件工程 课件
软件工程师能力自我评价表)

参考资料

• 《深入理解计算机系统V3》学习指导
• 栈溢出