Linux基于 Pintos 实现新的用户级程序的系统调用 | 冯诺依曼架构

Posted 2023-01-21 柠檬叶子C

💭 写在前面：本章我们首先会明确冯诺依曼体系结构的概念，旨在帮助大家理解体系结构在硬件角度去理解数据流走向的问题。理解完之后我们再去谈操作系统，这个在之前的章节已经有所铺垫，当时我们只讲解了操作系统是什么，而这一章我们会讲解更多有关操作系统的细节，着重谈谈操作系统概念与定位、操作系统是如何去做管理的，引入 "先描述，再组织。" 的概念，最后我们在讲解系统调用，我们会使用斯坦福大学操作系统课 Pintos 项目作为基础增添一些新的用户级程序的系统调用接口。

---

Ⅰ. 冯诺依曼架构（Von Neumann architecture）

0x00 冯诺依曼体系结构

 冯诺依曼体系结构 (Von Neumann architecture) ，又称 "范纽曼型架构"。

它是我们常见的计算机，如电脑、笔记本或服务器大部分都遵守的一个架构体系。

• 输入设备：键盘 | 话筒 | 摄像头 | 磁盘 | 网卡 | 写字板 ...
• 输出设备：显示器 | 音响 | 打印机 | 磁盘 | 网卡 | 显卡 ...
• (运算器 + 控制器) [CPU]：
• 存储器：内存

📌 注意事项：

图中的存储器指的就是内存。
不考虑缓存情况，这里的 CPU 能且只能对内存进行读写，不能访问外设（输入或输出设备）
外设想要输入或输出数据，也只能写入内存或者从内存中读取。
所有设备都只能和内存打交道。

0x01 内存存在的意义

❓ 思考：为什么冯诺依曼体系中要存在 "内存" 这样的东西？

🔨 技 术 角 度 

存储的速度：

• memory 指内存，disk 指外设磁盘，cd 指光盘磁带

 有很多种存储，且存储的速度方面是有差别的，给大家一个量化的概念去理解：

像 CPU、寄存器以及缓存的读写速度是纳秒级别的，而内存是微秒级别的，外设是毫秒级别，

甚至还有秒级别的设备，因此大家的速度差别是非常非常大的，速度有快有慢。

站在我们刚刚展出的冯诺依曼体系结构来看，就是 "输入设备" 是最快的，"输出设备" 是最慢的。

存储器是适中的，如果我们此时不考虑内存的存在：

先让输入设备接收用户输入，如果用户不输入，或者输入设备在接受用户期间，

我们的 CPU 是属于闲置状态的，当 CPU 把数据拿到之后再进行计算还得写，写完后还得刷。

 （闲置状态）

CPU 把数据计算完再交给输出设备，交给它时速度非常慢，可能还要给用户展示。

总体来说，就是输入设备非常快，运算器和输出是非常慢的，这里就引出了 "木桶效应" 问题。

" 木桶如求盛水多，决于短板短几何。"

  因此，由此构建出的计算机效率是非常低下的！

所以我们就不能够只是裸地将外设和 CPU 直接粘合起来，构成所对应的计算机体系。

所以就有了冯诺依曼体系结构，在输入输出和运算, 控制器之间添加一个中间设备 —— 存储器。

💡 存储器最大的价值：输入设备在输入数据时不是把数据直接交给 CPU 的，而是把数据先从外设交给存储器，再将存储器当中的数据再被 CPU 读取，CPU 计算完后再将数据写回存储器，再由内存刷新回输出设备。因此在整个计算机体系当中，内存是属于数据层面上的核心地位。

📌 数据角度：外设不和 CPU 直接交互，而是和内存交互。（CPU 也是如此）

内存在我们看来，就是体系结构的一个大的缓存，适配外设和 CPU 速度不均的问题的。

💰 成 本 角 度

 造价成本：寄存器  内存  磁盘 (外设)

💡 内存的意义：使用较低的钱的成本，能够获得较高的性能。

因为内存的存在，我们现在可以用不多的钱买上一台性价比不错的电脑，这就是内存的最大价值。

" 我们自己写的软件，编译好之后，要运行，必须先加载到内存。"

 为什么？因为这是 体系结构 决定的！如果不加载到内存 CPU 没办法执行的。

所以我们自己编好的软件加载到内存，这是体系结构决定的，

当你在启动时，还没有执行程序时，你的数据其实已经预加载到内存当中了。

这就牵扯到 "局部性原理" 的概念了：局部性原理是指 CPU 访问存储器时，

无论是存取指令还是存取数据，所访问的存储单元都趋于聚集在一个较小的连续区域中。

比如正在执行第10行代码，你有理由推断你接下来要执行的代码一定是第10行代码附近的代码。

因为局部性原理的存在，你在访问某些数据时可以将数据的周边数据提前给你加载出来，

  这，就是操作系统预加载数据的根本理论基础。

0x02 运算器和控制器

 我们先来看 运算器，运算器主要承担了运算的工作。

计算机的计算种类无非两种：① 算数计算    ② 逻辑计算

加减乘除取模这一些就算算数计算，逻辑与逻辑或逻辑反这些就是逻辑计算。

在人的计算世界中，计算其实就是算账、算数。

人会推理一些东西，这实际上就是逻辑。所以计算机的计算和人的计算，无外乎就是这两种。

 虽然我们一直在说外设不和 CPU 在数据上交互，但并不代表它们之间没有交互。

比如输入设备把数据输入完后，中央处理器如何知道数据已经读取完了？

数据也不是一定 100% 能装载进来，如果没有装载进来呢？CPU 是不是就要和外设交互一下？

"喂，外设，数据你还没装载完呢，你跟内存商量下你们赶快把数据装载起来"

所以中央处理器还需要有协调数据流向，什么时候流，流多少的问题。

 这，实际上就是由 控制器 来控制外设的。

几乎所有的硬件，只能被动地完成某种功能，不能主动地完成，一般都是要配合软件完成的。

🔺 总结：所有的外设在数据层面上不和 CPU 接轨，直接和内存处理。CPU 读数据直接从内存中读数据，处理完数据后的结果再刷新到内存。

对我们来说，实际上计算机为了提升整体性能，也加了许多其他的优化策略，比如寄存器和缓存，这些话题我们一言难尽，我们放到后面再去探讨。

Ⅱ. 理解操作系统（OS）

0x00 回顾：什么是操作系统

 🔍 复习链接：【看表情包学Linux】了解操作系统

操作系统是一款软件，用来进行对软硬件资源进行管理的软件。

任何一款计算机系统都包含一个基本的程序集合，我们称之为操作系统（）。

 操作系统包括：

• 内核（进程管理，内存管理，文件管理，驱动管理）
• 其他程序（例如函数库，shell 程序等）

定位：在整个计算机软硬件架构中，操作系统的定位是一款纯正的 "搞管理" 的软件。

管理的目的：① 对上：提供一个良好稳定的运行环境    ② 对下：管理好软硬件资源。

而我们今天要重点谈论的就是 "管理"，什么叫做管理？如何理解？

0x01 再次理解 "管理"

如何理解 "管理"，我们讲两个小故事。虽然我们不懂什么是管理，但是我们肯定是被管过的。

 我们先看看人是如何做事的，人做事：

决策    执行

 比如今天我打算晚上跟朋友一起开黑，这就是决策。

晚上吃完饭你很喊朋友上号，然后一起开黑去了，这就是执行。

这就是 决策过程 和 执行过程 ，虽然决策和执行在我们人身上似乎是混合体的，我决策我执行。

但是计算机中，为了能够做更好的功能解耦，决策和执行实际上是可以分离开来的。

"有人负责决策，也有人负责执行。"

举个学校的例子，校长做决策，辅导员去执行。校长连我的面都不见，如何管理我呢？

管理你要和你打交道，要和你见面吗？他是怎么做到的？

管理的本质：不是对管理对象进行直接管理，而是只要拿到管理对象的所有的相关数据，我们队数据的管理，就可以体现对人的管理。

"在公司中，你之前负责的模块经你手自己处理了大半年，模块的效率比之前翻了十倍一百倍，领导就知道你一定是做出成绩来了，如果你在公司里什么都没写，什么有效数据都没有产出，所有管理最终都要落实到对数据做管理。"

这是我又有一个问题了，如果你说它连我的面就不见，他又是如何拿到我的数据的呢？

  执行者可不是只拿数据，还可以落实对应的政策。

0x02 先描述再组织

对管理的进一步理解：人认识世界的方式 —— 人是通过属性认识世界的。

 一切事物都可以通过抽取对象的属性，来达到描述对象的目的。

class OBJ 
    // 成员属性

继续刚才的例子，如果你自己就个是个当过程序员的校长，你想管理学校的同学，

那么就可以抽取所有同学的属性，描述对应的同学，我们知道 Linux 内核代码是由C语言写的。

那么C语言中有没有一种数据类型，能够达到描述某种对象的功能？他就是 —— 

（劲爆啊，突如其来的动漫感，哈哈哈哈哈哈）

struct student 
    学生的基本信息(身高，姓名，年级，电话...)   
    在校基本信息(专业，班级，年级)
    考试成绩（平时成绩，期末成绩）
    学校活动（...学生会, 班长？）
    其他信息

    struct student* next;
    struct student* prev;
;

如此一来，对学生的管理，就变成了对链表的增删查改。然后我们在有头插、尾插的各种方法。

现在如过我想找到考试成绩最好的学生，只需要遍历整个链表，找到那个学生的结点即可。

再比如，学校的挂科率太高了，要整治一下这个问题，我们就执行一个排序算法，以绩点排序。

按升序排列，找到若干名排在前面的绩点低的学生，再通过自带的信息联系到辅导员，进行管理。

管理的本质：对数据做管理  对某种数据结构的管理，管理的核心理念 ——

" 先描述，再组织。"

所谓的管理，其实就是 "先描述，再组织。"

• 描述：用 struct 结构体
• 组织：用链表或其他高效的数据结构

0x03 系统调用

在开发角度，操作系统对外会表现为一个整体，但是会暴露自己的部分接口，供上层开发使用，

这部分由操作系统提供的接口，叫做系统调用。 系统调用在使用上，功能比较基础，对用户的要求相对也比较高。

为了更好的实战性学习，下面我将演示如何在斯坦福操作系统大作业 Pintos 项目，添加用户级系统调用。学习如何额外实现一些功能到系统调用中以供用户使用。因为涉及到 src/example 下的Makefile 的修改、lib 目录下 syscall-nr 系统调用号的增添以及定义调用宏等操作，所以需要对 Pintos 项目有一定的了解。本文旨在帮助大家 DIY 自己想实现的系统调用，增加到自己的 Pintos 项目中。为了方便讲解，我们添加两个非常简单的系统调用功能，调用的功能其实并不重要，重要的是关注添加系统调用的操作。我们会将下面两个我们自己实现的函数作为系统调用：

int fibonacci(int n)   // 返回斐波那契数列的第n项
int max_of_four_int(int a, int b, int c, int d)  // 返回 a b c d 中的最大值

🔍 前置文章：

【OS Pintos】Pintos 环境准备

【OS Pintos】用户程序是如何工作的 | Pintos 运行原理 | 虚拟内存 | 页函数 | 系统调用

【OS Pintos】Project1 项目要求说明 | 进程中止信息 | 参数传递 | 用户内存访问

Ⅲ. 实战：基于 Pintos 实现用户级程序的系统调用

Step1：进入 examples 目录

首先我们要进入 example 目录。examples 目录是在 Pintos 目录下的 src 子目录下的。

$ cd pintos/src/examples

Step2：修改 Makefile 文件

添加系统调用，自然需要修改 Makefile 文件，我们可以照着其他用户程序的编写方式去修改：  

$ vim Makefile   # 用vim编辑器打开Makefile

 （打开后如图所示）

我们来分析一下这个 Makefile 文件，我们先看前面的注释……

emm，这似乎是 Pintos 作者留下的注释哈：

大致意思就是：添加新的系统调用接口，需要先将它名字添加到  列表中，然后按  name_SRC 的格式添加到资源文件中（name 指的是系统调用的名字）。

 好，我们乖乖听话，按大哥的要求做！

Vim 下输入   进入插入模式后，在   列表中添加一个文件名，比如取名 additional ：

PROGS = cat cmp cp echo halt hex-dump ls mcat mcp mkdir pwd rm shell \\
        bubsort lineup matmult recursor additional

按照要求在  列表中添加完名字后，还需要将其添加到资源文件中，也在这个 Makefile 里，我们直接往下拉照葫芦画瓢，按格式添加即可：

additional_SEC = additional.c

编辑完成后 !wq  退出 Vim 即可。

Step3： 为新的系统调用添加系统调用编号

记录系统调用编号的文件是 syscall-nr.h，它在 lib 目录下：

$ cd pintos/src/lib   # 进入user目录  （在cse目录下输入）

我们用 Vim 打开它，小心点输别输错了，不然自动创建新的文件就麻烦了：

$ vim syscall-nr.h

我们按照要求，在 enum 里添加两个函数的系统调用编号：

    SYS_FIBONACCI,        
    SYS_MAX_OF_FOUR_INT,

Step4：编写新的系统调用的 API 原型

我们需要在 syscall.h 文件夹中修改，它在进入 lib/user 目录下，走起：

$ cd pintos/src/lib/user   # 进入user目录  （在cse目录下输入）

我们 Vim 进入 syscall.h：

$ vim syscall.h

 

 我们给它加上新的接口函数的声明： 

int fibonacci(int n);
int max_of_four_int(int a, int b, int c, int d); 

Step5：为 max_of_four_int 函数定义参数调用宏  syscall4

Pintos 的 syscall 有 4 个参数调用宏，分别是 syscall0, syscall1, syscall2, sycall3（数字几就是几个参数）。

而 max_of_four_int 这个函数有 4 个参数要传，加上调用编号的话就是一共要传 5 个参数：

int max_of_four_int(int a, int b, int c, int d);

因为 Pintos 的自带的最多只能传4个，所以我们就不得不实现一个 syscall4 函数。举这个例子函数正式为教会大家学会如何处理 —— 自己实现的函数需要传的参数大于 syscall3 的情况。

这就需要我们手写添加一个 syscall4 的宏。在 syscall.c 里添加 ，文件位置在 src/lib/user 下：

$ cd pintos/src/lib/user   # 进入user目录  

老样子，用 Vim 打开进行编辑：

$ vim syscall.c

这个 syscall.c 的源码内容比较长，我们从前往后慢慢看：

这些就是 Pintos 写好的系统调用宏，分别是无参，一个参数，两个参数，三个参数的系统调用宏。而我们新增的 max_of_four_int  函数需要传递 a,b,c,d 四个参数，而 Pintos 并没有实现，所以这需要我们自己去实现！

 我们仍然是用 照猫画虎大法， 在实现之前我们仔细观察下 syscall3 宏，有助于我们理解，自己实现 syscall4 也能更轻松。

/* Invokes syscall NUMBER, passing arguments ARG0, ARG1, and
   ARG2, and returns the return value as an `int'. */
#define syscall3(NUMBER, ARG0, ARG1, ARG2)                      \\
        (                                                      \\
          int retval;                                           \\
          asm volatile                                          \\
            ("pushl %[arg2]; pushl %[arg1]; pushl %[arg0]; "    \\
             "pushl %[number]; int $0x30; addl $16, %%esp"      \\
               : "=a" (retval)                                  \\
               : [number] "i" (NUMBER),                         \\
                 [arg0] "r" (ARG0),                             \\
                 [arg1] "r" (ARG1),                             \\
                 [arg2] "r" (ARG2)                              \\
               : "memory");                                     \\
          retval;                                               \\
        )

💡 解读：不要被这一大坨宏吓到，后面的 \\ 是代码换行，这是为了代码可读性而加的！

我们可以看到函数参数有 NUMBER，AGE0，AGE1，AGE2。NUMBER 接收的就是我们的系统调用号，AGE 就是 argument 的简写，就是要接收的参数。

这里是 syscall3，接收三个参数所以这里自然有三个 AGE，我们下面要实现 4 个参数时这里就需要再加一个 "AGE3"。随后 asm volatile 进行 pushl 操作，

注意！参数是 "从右往左" 压入的，即先压 AGE2，再压 AGE1……最后再压 NUMBER。

而后面的 addl $16 即需要的空间，每个 int 型参数占 4 个字节，这里加上系统调用号 NUMBER 一共要 pushl 4 个参数，所以需要索要 16 个字节：

通过这里我们就能知道，我们在实现 syscall4 参数调用宏时，会有 5 个参数，那么到时候这里就需要写 addl $16 。好了，开始照猫画虎写 syscall4 宏：

#define syscall4(NUMBER, ARG0, ARG1, ARG2, ARG3)                             \\
        (                                                                   \\
          int retval;                                                        \\
          asm volatile                                                       \\
            ("pushl %[arg3]; pushl %[arg2]; pushl %[arg1]; pushl %[arg0]; "  \\
             "pushl %[number]; int $0x30; addl $20, %%esp"                   \\
               : "=a" (retval)                                               \\
               : [number] "i" (NUMBER),                                      \\
                 [arg0] "r" (ARG0),                                          \\
                 [arg1] "r" (ARG1),                                          \\
                 [arg2] "r" (ARG2),                                          \\
                 [arg3] "r" (ARG3)                                           \\
               : "memory");                                                  \\
          retval;                                                            \\
        )

 然后不要急着退出，我们 Step5 还要在这里进行操作。

Step5：编写函数的系统调用 API

我们刚才已经为 max_of_four_int 定义了 syscall4 了，我们还要在 syscall.c 里实现这两个新函数的系统调用接口。我们刚才在 syscall.h 里已经给这两个函数写过函数声明了：

int fibonacci(int n);
int max_of_four_int(int a, int b, int c, int d); 

现在也准备好了 syscall4，我们自然要在 syscall.c 里实现一下它们的系统调用接口。

Fibonacci 函数只有一个参数（没算调用号），使用 Pintos 自带的 syscall1 即可。max_of_four_int 有四个参数（没算调用号），就用我们刚才实现的 syscall4 就行。

这也是为什么我们要 Step by Step 地讲。先定义好系统调用号，然后定义 syscall.h 的系统调用接口，再实现 syscall4，最后再实现 syscall.c 的系统调用接口。按这样的顺序去做不会乱，也不至于写着写着怎么参数突然冒出一个系统调用号，搞得人一脸懵。

 啊哈哈哈哈哈哈，搞定！

Step6：实现这两个函数的功能

在 userprog 下也是有个 syscall.c 文件的，如果你做过 Pintos Project1 你应该会对它很熟悉。

我们需要在 userprog/syscall.c 这写上系统调用的功能实现：

$ cd pintos/src/userprog

至于 Fibonacci 和 max_of_four_int 函数的实现，和本篇博客主题无关（不是C基础教学），代码我直接给出，这不重要仅供参考。

💬 求第  个斐波那契数列（非递归法）

int fibonacci(int n)

    /* Non-Rec method */
    int a = 1;
    int b = 1;
    int c = 1;
    while (n > 2) 
        c = a + b;
        a = b;
        b = c;
        n--;
    
    
    return c;

 💬 求四数最大值：

int max_of_four_int(int a, int b, int c, int d)

        int max = a;  /* Suppose the first number is bigest */
        if (max < b) max = b;
        if (max < c) max = c;
        if (max < d) max = d;

        return max;

 实现完后保存退出即可，至此我们的任务就大功告成了。

💭 测试： pintos/src/userprog 下输入：

pintos --filesys-size=2 -p ../examples/additional -a additional -- -f -q run 'additional 10 20 62 40'

🚩 效果演示：

至此，新的用户级调用程序就增添完毕。

📌 [ 笔者 ]   王亦优
📃 [ 更新 ]   2023.1.18
❌ [ 勘误 ]   /* 暂无 */
📜 [ 声明 ]   由于作者水平有限，本文有错误和不准确之处在所难免，
              本人也很想知道这些错误，恳望读者批评指正！

📜 参考资料  C++reference[EB/OL]. []. http://www.cplusplus.com/reference/. Microsoft. MSDN(Microsoft Developer Network)[EB/OL]. []. . 百度百科[EB/OL]. []. https://baike.baidu.com/. 比特科技. Linux[EB/OL]. 2021[2021.8.31