Linux基于 Pintos 实现新的用户级程序的系统调用 | 冯诺依曼架构

Posted 柠檬叶子C

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux基于 Pintos 实现新的用户级程序的系统调用 | 冯诺依曼架构相关的知识,希望对你有一定的参考价值。

💭 写在前面:本章我们首先会明确冯诺依曼体系结构的概念,旨在帮助大家理解体系结构在硬件角度去理解数据流走向的问题。理解完之后我们再去谈操作系统,这个在之前的章节已经有所铺垫,当时我们只讲解了操作系统是什么,而这一章我们会讲解更多有关操作系统的细节,着重谈谈操作系统概念与定位、操作系统是如何去做管理的,引入 "先描述,再组织。" 的概念,最后我们在讲解系统调用,我们会使用斯坦福大学操作系统课 Pintos 项目作为基础增添一些新的用户级程序的系统调用接口。


Ⅰ. 冯诺依曼架构(Von Neumann architecture)

0x00 冯诺依曼体系结构

 冯诺依曼体系结构 (Von Neumann architecture) ,又称 "范纽曼型架构"。

它是我们常见的计算机,如电脑、笔记本或服务器大部分都遵守的一个架构体系。

  • 输入设备:键盘 | 话筒 | 摄像头 | 磁盘 | 网卡 | 写字板 ...
  • 输出设备:显示器 | 音响 | 打印机 | 磁盘 | 网卡 | 显卡 ...
  • (运算器 + 控制器) [CPU]:
  • 存储器:内存

📌 注意事项:

图中的存储器指的就是内存。
不考虑缓存情况,这里的 CPU 能且只能对内存进行读写,不能访问外设(输入或输出设备)
外设想要输入或输出数据,也只能写入内存或者从内存中读取。
所有设备都只能和内存打交道。

0x01 内存存在的意义

❓ 思考:为什么冯诺依曼体系中要存在 "内存" 这样的东西?

🔨 技 术 角 度 

存储的速度:

  • memory 指内存,disk 指外设磁盘,cd 指光盘磁带

 有很多种存储,且存储的速度方面是有差别的,给大家一个量化的概念去理解:

像 CPU、寄存器以及缓存的读写速度是纳秒级别的,而内存是微秒级别的,外设是毫秒级别,

甚至还有秒级别的设备,因此大家的速度差别是非常非常大的,速度有快有慢。

站在我们刚刚展出的冯诺依曼体系结构来看,就是 "输入设备" 是最快的,"输出设备" 是最慢的。

存储器是适中的,如果我们此时不考虑内存的存在:

先让输入设备接收用户输入,如果用户不输入,或者输入设备在接受用户期间,

我们的 CPU 是属于闲置状态的,当 CPU 把数据拿到之后再进行计算还得写,写完后还得刷。

 (闲置状态)

CPU 把数据计算完再交给输出设备,交给它时速度非常慢,可能还要给用户展示。

总体来说,就是输入设备非常快,运算器和输出是非常慢的,这里就引出了 "木桶效应" 问题。

" 木桶如求盛水多,决于短板短几何。"

  因此,由此构建出的计算机效率是非常低下的!

所以我们就不能够只是裸地将外设和 CPU 直接粘合起来,构成所对应的计算机体系。

所以就有了冯诺依曼体系结构,在输入输出和运算, 控制器之间添加一个中间设备 —— 存储器

💡 存储器最大的价值:输入设备在输入数据时不是把数据直接交给 CPU 的,而是把数据先从外设交给存储器,再将存储器当中的数据再被 CPU 读取,CPU 计算完后再将数据写回存储器,再由内存刷新回输出设备。因此在整个计算机体系当中,内存是属于数据层面上的核心地位。

📌 数据角度:外设不和 CPU 直接交互,而是和内存交互。(CPU 也是如此)

内存在我们看来,就是体系结构的一个大的缓存,适配外设和 CPU 速度不均的问题的。

💰 成 本 角 度

 造价成本:寄存器  内存  磁盘 (外设)

💡 内存的意义:使用较低的钱的成本,能够获得较高的性能。

因为内存的存在,我们现在可以用不多的钱买上一台性价比不错的电脑,这就是内存的最大价值。

" 我们自己写的软件,编译好之后,要运行,必须先加载到内存。"

 为什么?因为这是 体系结构 决定的!如果不加载到内存 CPU 没办法执行的。

所以我们自己编好的软件加载到内存,这是体系结构决定的,

当你在启动时,还没有执行程序时,你的数据其实已经预加载到内存当中了。

这就牵扯到 "局部性原理" 的概念了:局部性原理是指 CPU 访问存储器时,

无论是存取指令还是存取数据,所访问的存储单元都趋于聚集在一个较小的连续区域中。

比如正在执行第10行代码,你有理由推断你接下来要执行的代码一定是第10行代码附近的代码。

因为局部性原理的存在,你在访问某些数据时可以将数据的周边数据提前给你加载出来,

  这,就是操作系统预加载数据的根本理论基础。

0x02 运算器和控制器

 我们先来看 运算器,运算器主要承担了运算的工作。

计算机的计算种类无非两种:① 算数计算    ② 逻辑计算

加减乘除取模这一些就算算数计算,逻辑与逻辑或逻辑反这些就是逻辑计算。

在人的计算世界中,计算其实就是算账、算数。

人会推理一些东西,这实际上就是逻辑。所以计算机的计算和人的计算,无外乎就是这两种。

 虽然我们一直在说外设不和 CPU 在数据上交互,但并不代表它们之间没有交互。

比如输入设备把数据输入完后,中央处理器如何知道数据已经读取完了?

数据也不是一定 100% 能装载进来,如果没有装载进来呢?CPU 是不是就要和外设交互一下?

"喂,外设,数据你还没装载完呢,你跟内存商量下你们赶快把数据装载起来"

所以中央处理器还需要有协调数据流向,什么时候流,流多少的问题。

 这,实际上就是由 控制器 来控制外设的。

几乎所有的硬件,只能被动地完成某种功能,不能主动地完成,一般都是要配合软件完成的。

🔺 总结:所有的外设在数据层面上不和 CPU 接轨,直接和内存处理。CPU 读数据直接从内存中读数据,处理完数据后的结果再刷新到内存。

对我们来说,实际上计算机为了提升整体性能,也加了许多其他的优化策略,比如寄存器和缓存,这些话题我们一言难尽,我们放到后面再去探讨。

Ⅱ. 理解操作系统(OS)

0x00 回顾:什么是操作系统

 🔍 复习链接:【看表情包学Linux】了解操作系统

操作系统是一款软件,用来进行对软硬件资源进行管理的软件。

任何一款计算机系统都包含一个基本的程序集合,我们称之为操作系统()。

 操作系统包括:

  • 内核(进程管理,内存管理,文件管理,驱动管理)
  • 其他程序(例如函数库,shell 程序等)

定位:在整个计算机软硬件架构中,操作系统的定位是一款纯正的 "搞管理" 的软件。

管理的目的:① 对上:提供一个良好稳定的运行环境    ② 对下:管理好软硬件资源。

而我们今天要重点谈论的就是 "管理",什么叫做管理?如何理解?

0x01 再次理解 "管理"

如何理解 "管理",我们讲两个小故事。虽然我们不懂什么是管理,但是我们肯定是被管过的。

 我们先看看人是如何做事的,人做事:

决策    执行

 比如今天我打算晚上跟朋友一起开黑,这就是决策。

晚上吃完饭你很喊朋友上号,然后一起开黑去了,这就是执行。

这就是 决策过程执行过程 ,虽然决策和执行在我们人身上似乎是混合体的,我决策我执行。

但是计算机中,为了能够做更好的功能解耦,决策和执行实际上是可以分离开来的。

"有人负责决策,也有人负责执行。"

举个学校的例子,校长做决策,辅导员去执行。校长连我的面都不见,如何管理我呢?

管理你要和你打交道,要和你见面吗?他是怎么做到的?

管理的本质:不是对管理对象进行直接管理,而是只要拿到管理对象的所有的相关数据,我们队数据的管理,就可以体现对人的管理。

"在公司中,你之前负责的模块经你手自己处理了大半年,模块的效率比之前翻了十倍一百倍,领导就知道你一定是做出成绩来了,如果你在公司里什么都没写,什么有效数据都没有产出,所有管理最终都要落实到对数据做管理。"

这是我又有一个问题了,如果你说它连我的面就不见,他又是如何拿到我的数据的呢?

  执行者可不是只拿数据,还可以落实对应的政策。

0x02 先描述再组织

对管理的进一步理解:人认识世界的方式 —— 人是通过属性认识世界的。

 一切事物都可以通过抽取对象的属性,来达到描述对象的目的。

class OBJ 
    // 成员属性

继续刚才的例子,如果你自己就个是个当过程序员的校长,你想管理学校的同学,

那么就可以抽取所有同学的属性,描述对应的同学,我们知道 Linux 内核代码是由C语言写的。

那么C语言中有没有一种数据类型,能够达到描述某种对象的功能?他就是 —— 

(劲爆啊,突如其来的动漫感,哈哈哈哈哈哈)

struct student 
    学生的基本信息(身高,姓名,年级,电话...)   
    在校基本信息(专业,班级,年级)
    考试成绩(平时成绩,期末成绩)
    学校活动(...学生会, 班长?)
    其他信息

    struct student* next;
    struct student* prev;
;

如此一来,对学生的管理,就变成了对链表的增删查改。然后我们在有头插、尾插的各种方法。

现在如过我想找到考试成绩最好的学生,只需要遍历整个链表,找到那个学生的结点即可。

再比如,学校的挂科率太高了,要整治一下这个问题,我们就执行一个排序算法,以绩点排序。

按升序排列,找到若干名排在前面的绩点低的学生,再通过自带的信息联系到辅导员,进行管理。

管理的本质:对数据做管理  对某种数据结构的管理,管理的核心理念 ——

" 先描述,再组织。"

所谓的管理,其实就是 "先描述,再组织。"

  • 描述: struct 结构体
  • 组织:用链表或其他高效的数据结构

0x03 系统调用

在开发角度,操作系统对外会表现为一个整体,但是会暴露自己的部分接口,供上层开发使用,

这部分由操作系统提供的接口,叫做系统调用。 系统调用在使用上,功能比较基础,对用户的要求相对也比较高。

为了更好的实战性学习,下面我将演示如何在斯坦福操作系统大作业 Pintos 项目,添加用户级系统调用。学习如何额外实现一些功能到系统调用中以供用户使用。因为涉及到 src/example 下的Makefile 的修改、lib 目录下 syscall-nr 系统调用号的增添以及定义调用宏等操作,所以需要对 Pintos 项目有一定的了解。本文旨在帮助大家 DIY 自己想实现的系统调用,增加到自己的 Pintos 项目中。为了方便讲解,我们添加两个非常简单的系统调用功能,调用的功能其实并不重要,重要的是关注添加系统调用的操作。我们会将下面两个我们自己实现的函数作为系统调用:

int fibonacci(int n)   // 返回斐波那契数列的第n项
int max_of_four_int(int a, int b, int c, int d)  // 返回 a b c d 中的最大值

🔍 前置文章:

【OS Pintos】Pintos 环境准备

【OS Pintos】用户程序是如何工作的 | Pintos 运行原理 | 虚拟内存 | 页函数 | 系统调用

【OS Pintos】Project1 项目要求说明 | 进程中止信息 | 参数传递 | 用户内存访问

Ⅲ. 实战:基于 Pintos 实现用户级程序的系统调用

Step1:进入 examples 目录

首先我们要进入 example 目录。examples 目录是在 Pintos 目录下的 src 子目录下的。

$ cd pintos/src/examples

Step2:修改 Makefile 文件

添加系统调用,自然需要修改 Makefile 文件,我们可以照着其他用户程序的编写方式去修改:  

$ vim Makefile   # 用vim编辑器打开Makefile

 (打开后如图所示)

我们来分析一下这个 Makefile 文件,我们先看前面的注释……

emm,这似乎是 Pintos 作者留下的注释哈:

大致意思就是:添加新的系统调用接口,需要先将它名字添加到  列表中,然后按  name_SRC 的格式添加到资源文件中(name 指的是系统调用的名字)。

 好,我们乖乖听话,按大哥的要求做!

Vim 下输入   进入插入模式后,在   列表中添加一个文件名,比如取名 additional :

PROGS = cat cmp cp echo halt hex-dump ls mcat mcp mkdir pwd rm shell \\
        bubsort lineup matmult recursor additional

按照要求在  列表中添加完名字后,还需要将其添加到资源文件中,也在这个 Makefile 里,我们直接往下拉照葫芦画瓢,按格式添加即可:

additional_SEC = additional.c

编辑完成后 !wq  退出 Vim 即可。

Step3: 为新的系统调用添加系统调用编号

记录系统调用编号的文件是 syscall-nr.h,它在 lib 目录下:

$ cd pintos/src/lib   # 进入user目录  (在cse目录下输入)

我们用 Vim 打开它,小心点输别输错了,不然自动创建新的文件就麻烦了:

$ vim syscall-nr.h

我们按照要求,在 enum 里添加两个函数的系统调用编号:

    SYS_FIBONACCI,        
    SYS_MAX_OF_FOUR_INT,

Step4:编写新的系统调用的 API 原型

我们需要在 syscall.h 文件夹中修改,它在进入 lib/user 目录下,走起:

$ cd pintos/src/lib/user   # 进入user目录  (在cse目录下输入)

我们 Vim 进入 syscall.h:

$ vim syscall.h

 

 我们给它加上新的接口函数的声明: 

int fibonacci(int n);
int max_of_four_int(int a, int b, int c, int d); 

Step5:为 max_of_four_int 函数定义参数调用宏  syscall4

Pintos 的 syscall 有 4 个参数调用宏,分别是 syscall0, syscall1, syscall2, sycall3(数字几就是几个参数)。

而 max_of_four_int 这个函数有 4 个参数要传,加上调用编号的话就是一共要传 5 个参数:

int max_of_four_int(int a, int b, int c, int d);

因为 Pintos 的自带的最多只能传4个,所以我们就不得不实现一个 syscall4 函数。举这个例子函数正式为教会大家学会如何处理 —— 自己实现的函数需要传的参数大于 syscall3 的情况。

这就需要我们手写添加一个 syscall4 的宏。在 syscall.c 里添加 ,文件位置在 src/lib/user 下:

$ cd pintos/src/lib/user   # 进入user目录  

老样子,用 Vim 打开进行编辑:

$ vim syscall.c

这个 syscall.c 的源码内容比较长,我们从前往后慢慢看:

这些就是 Pintos 写好的系统调用宏,分别是无参,一个参数,两个参数,三个参数的系统调用宏。而我们新增的 max_of_four_int  函数需要传递 a,b,c,d 四个参数,而 Pintos 并没有实现,所以这需要我们自己去实现!

 我们仍然是用 照猫画虎大法, 在实现之前我们仔细观察下 syscall3 宏,有助于我们理解,自己实现 syscall4 也能更轻松。

/* Invokes syscall NUMBER, passing arguments ARG0, ARG1, and
   ARG2, and returns the return value as an `int'. */
#define syscall3(NUMBER, ARG0, ARG1, ARG2)                      \\
        (                                                      \\
          int retval;                                           \\
          asm volatile                                          \\
            ("pushl %[arg2]; pushl %[arg1]; pushl %[arg0]; "    \\
             "pushl %[number]; int $0x30; addl $16, %%esp"      \\
               : "=a" (retval)                                  \\
               : [number] "i" (NUMBER),                         \\
                 [arg0] "r" (ARG0),                             \\
                 [arg1] "r" (ARG1),                             \\
                 [arg2] "r" (ARG2)                              \\
               : "memory");                                     \\
          retval;                                               \\
        )

💡 解读:不要被这一大坨宏吓到,后面的 \\ 是代码换行,这是为了代码可读性而加的!

我们可以看到函数参数有 NUMBER,AGE0,AGE1,AGE2。NUMBER 接收的就是我们的系统调用号,AGE 就是 argument 的简写,就是要接收的参数。

这里是 syscall3,接收三个参数所以这里自然有三个 AGE,我们下面要实现 4 个参数时这里就需要再加一个 "AGE3"。随后 asm volatile 进行 pushl 操作,

注意!参数是 "从右往左" 压入的,即先压 AGE2,再压 AGE1……最后再压 NUMBER。

而后面的 addl $16 即需要的空间,每个 int 型参数占 4 个字节,这里加上系统调用号 NUMBER 一共要 pushl 4 个参数,所以需要索要 16 个字节:

通过这里我们就能知道,我们在实现 syscall4 参数调用宏时,会有 5 个参数,那么到时候这里就需要写 addl $16 。好了,开始照猫画虎写 syscall4 宏:

#define syscall4(NUMBER, ARG0, ARG1, ARG2, ARG3)                             \\
        (                                                                   \\
          int retval;                                                        \\
          asm volatile                                                       \\
            ("pushl %[arg3]; pushl %[arg2]; pushl %[arg1]; pushl %[arg0]; "  \\
             "pushl %[number]; int $0x30; addl $20, %%esp"                   \\
               : "=a" (retval)                                               \\
               : [number] "i" (NUMBER),                                      \\
                 [arg0] "r" (ARG0),                                          \\
                 [arg1] "r" (ARG1),                                          \\
                 [arg2] "r" (ARG2),                                          \\
                 [arg3] "r" (ARG3)                                           \\
               : "memory");                                                  \\
          retval;                                                            \\
        )

 然后不要急着退出,我们 Step5 还要在这里进行操作。

Step5:编写函数的系统调用 API

我们刚才已经为 max_of_four_int 定义了 syscall4 了,我们还要在 syscall.c 里实现这两个新函数的系统调用接口。我们刚才在 syscall.h 里已经给这两个函数写过函数声明了:

int fibonacci(int n);
int max_of_four_int(int a, int b, int c, int d); 

现在也准备好了 syscall4,我们自然要在 syscall.c 里实现一下它们的系统调用接口。

Fibonacci 函数只有一个参数(没算调用号),使用 Pintos 自带的 syscall1 即可。max_of_four_int 有四个参数(没算调用号),就用我们刚才实现的 syscall4 就行。

这也是为什么我们要 Step by Step 地讲。先定义好系统调用号,然后定义 syscall.h 的系统调用接口,再实现 syscall4,最后再实现 syscall.c 的系统调用接口。按这样的顺序去做不会乱,也不至于写着写着怎么参数突然冒出一个系统调用号,搞得人一脸懵。

 啊哈哈哈哈哈哈,搞定!

Step6:实现这两个函数的功能

在 userprog 下也是有个 syscall.c 文件的,如果你做过 Pintos Project1 你应该会对它很熟悉。

我们需要在 userprog/syscall.c 这写上系统调用的功能实现:

$ cd pintos/src/userprog

至于 Fibonacci 和 max_of_four_int 函数的实现,和本篇博客主题无关(不是C基础教学),代码我直接给出,这不重要仅供参考。

💬 求第  个斐波那契数列(非递归法)

int fibonacci(int n)

    /* Non-Rec method */
    int a = 1;
    int b = 1;
    int c = 1;
    while (n > 2) 
        c = a + b;
        a = b;
        b = c;
        n--;
    
    
    return c;

 💬 求四数最大值:

int max_of_four_int(int a, int b, int c, int d)

        int max = a;  /* Suppose the first number is bigest */
        if (max < b) max = b;
        if (max < c) max = c;
        if (max < d) max = d;

        return max;

 实现完后保存退出即可,至此我们的任务就大功告成了。

💭 测试: pintos/src/userprog 下输入:

pintos --filesys-size=2 -p ../examples/additional -a additional -- -f -q run 'additional 10 20 62 40'

🚩 效果演示:

至此,新的用户级调用程序就增添完毕。

📌 [ 笔者 ]   王亦优
📃 [ 更新 ]   2023.1.18
❌ [ 勘误 ]   /* 暂无 */
📜 [ 声明 ]   由于作者水平有限,本文有错误和不准确之处在所难免,
              本人也很想知道这些错误,恳望读者批评指正!

📜 参考资料 

C++reference[EB/OL]. []. http://www.cplusplus.com/reference/.

Microsoft. MSDN(Microsoft Developer Network)[EB/OL]. []. .

百度百科[EB/OL]. []. https://baike.baidu.com/.

比特科技. Linux[EB/OL]. 2021[2021.8.31 

以上是关于Linux基于 Pintos 实现新的用户级程序的系统调用 | 冯诺依曼架构的主要内容,如果未能解决你的问题,请参考以下文章

看表情包学Linux冯诺依曼架构 | 理解操作系统 | 基于 Pintos 实现新的用户级程序的系统调用

看表情包学Linux冯诺依曼架构 | 理解操作系统 | 基于 Pintos 实现新的用户级程序的系统调用

看表情包学Linux冯诺依曼架构 | 理解操作系统 | 基于 Pintos 实现新的用户级程序的系统调用

看表情包学Linux冯诺依曼架构 | 理解操作系统 | 基于 Pintos 实现新的用户级程序的系统调用

操作系统课程设计pintos project1实验摘记

Pintos Project 2