与chatGPT神聊，引领你深入浅出系统调用

Posted 2023-04-04 Linux内核站

在操作系统的教学中，系统调用的作用不言而喻，但是，对系统调用常常是雾里看花，似乎明白，又难以真正的触及，即使在代码中调用了系统调用，比如调用fork（）创建进程，也只知其皮毛，如果深入到系统调用实现的内核代码中，又浩如烟海。如何在有限的时间引领初学者踏入系统调用的大门，从而触摸操作系统的灵魂，坐在电脑前，一口气向chatGPT问了多个问题，它的回答逻辑严密，基本没有漏洞，而且，有些回答超出我的想象，仅此抛砖引玉，以启发你问出更多的问题，从而提升你的学习效率，真正享受AI带给你的惊喜。

什么是系统调用，为什么要有系统调用，去掉系统调用系统会出现什么状况？

❝
系统调用是操作系统向应用程序提供的一组服务，可以让应用程序请求操作系统进行某些操作（例如读写文件、创建进程、建立网络连接等），并返回执行结果。在Linux中，常见的系统调用包括open()、read()、write()、fork()、execve()等。
系统调用的存在是为了提供操作系统功能给用户空间程序使用，因为在现代操作系统中，应用程序不能直接访问硬件资源，必须通过操作系统来完成。通过系统调用，应用程序可以向操作系统发起请求，从而获得需要的服务。
如果去掉系统调用，系统将无法正常工作。应用程序将无法访问硬件资源，也无法与其他应用程序或网络进行通信。操作系统也将失去对应用程序的控制和管理能力，无法有效地进行资源分配和任务调度。简言之，操作系统将失去其存在的意义。
❞

操作系统的很多功能难道就是为了实现系统调用？

❝
是的，操作系统中有很多功能都是为了支持系统调用而设计的。例如，操作系统需要提供安全性、稳定性、资源管理和任务调度等功能，才能让应用程序在一个可靠的环境中运行并执行所需操作。此外，操作系统还要提供进程和线程之间的通信和同步机制，以及文件系统和网络协议栈等服务。
这些功能都是为了支持系统调用而存在的，使得应用程序能够通过系统调用获得所需的服务。因此可以说，系统调用是操作系统最基本和最重要的功能之一，也是用户空间程序与操作系统之间的接口。
❞

操作系统设计人员在设计系统调用时要考虑哪些因素？

❝
在设计系统调用时，操作系统设计人员需要考虑以下几个方面：
功能需求：首先需要明确系统调用需要提供哪些服务功能，并将其分解为特定的系统调用。例如，读写文件、网络通信、进程管理等。
接口设计：系统调用是用户空间程序与内核之间的接口，需要设计合适的接口方式，选择合适的参数传递方式和返回值类型，以及错误处理机制等。这些决策需要权衡易用性、效率和安全性等因素。
安全性设计：系统调用可能会导致操作系统内部状态的改变，因此必须实现相应的安全措施来防止非法访问和恶意使用。需要考虑如何限制用户空间程序的权限，如何保证输入参数的有效性和完整性，以及如何防止攻击等。
性能设计：由于系统调用是操作系统的核心功能之一，因此需要高效地实现系统调用，避免不必要的开销，如频繁的上下文切换、内存拷贝等。需要考虑如何提高系统调用的执行效率和吞吐量。
兼容性设计：系统调用通常是操作系统API的一部分，需要保证API的向后兼容性，以便在升级内核版本时，不会影响用户空间程序的正常运行。
总之，在设计系统调用时，需要平衡多个因素，包括功能需求、接口设计、安全性、性能和兼容性，以满足用户的需求并保证操作系统的稳定性和安全性。
❞

当我们说 POSIX标准时到底说什么？它与系统调用是什么关系？

❝
POSIX（Portable Operating System Interface）标准是为了提高不同操作系统之间的兼容性而制定的一种标准，其中包含了定义操作系统API的规范。在POSIX标准中，有一部分规定了操作系统应该提供哪些系统调用，并且对这些系统调用的参数、返回值和错误码等做出了详细的说明。
因此，POSIX标准与系统调用是密切相关的。POSIX标准规定了操作系统所必须提供的系统调用，这些系统调用可以跨平台使用，使得开发者能够编写可移植的应用程序。换言之，POSIX标准定义了操作系统API的通用接口，使得应用程序可以通过这些接口来访问操作系统的功能，例如文件系统、网络等。而这些接口实现的具体方式则由各个操作系统自行决定，不同操作系统可能会采用不同的实现方式。
需要注意的是，虽然大多数操作系统都支持POSIX标准，但并不是所有系统都完全遵循标准。因此，在编写跨平台应用程序时，需要注意检查所使用的系统调用是否符合POSIX标准，并根据实际情况进行相应的处理和适配。
❞

难道系统调用实际上只是POSIX标准的子集？

❝
是的，系统调用实际上只是POSIX标准的一部分，而且不同的操作系统可能会提供不同的系统调用。虽然POSIX标准定义了一些必须实现的系统调用，但并不是所有的操作系统都完全遵循该标准。
例如，在Linux中，POSIX规定了一系列的系统调用，如open()、read()、write()、close()等，来支持文件操作和进程管理等功能。但是，Linux还提供了许多其他的系统调用，如epoll()、fadvise()、ptrace()等，这些系统调用并不是POSIX标准所规定的。因此，开发者在编写跨平台应用程序时，需要注意避免使用非标准的系统调用，以确保应用程序能够在不同操作系统上正常运行。
总之，虽然系统调用是操作系统API的核心组成部分，但并不是POSIX标准的全部内容。POSIX标准所规定的系统调用只是其中的一个子集，而且不同的操作系统可能会提供不同的系统调用来满足特定的需求。
❞

很多人常常把API与系统调用搞混淆，二者之间到底是什么关系？

❝
API（Application Programming Interface）和系统调用是两个不同的概念，但它们之间有一定的联系。
API是一组规定了软件模块之间如何通信的接口。在编程中，开发人员可以使用API来访问操作系统或其他应用程序提供的功能。API是通过库函数、Web服务等方式提供给开发人员的，开发人员通过调用API进行软件开发。API的实现可以基于系统调用，也可以基于其他方式。
而系统调用是操作系统向用户提供的一种服务，它是应用程序与操作系统内核之间通信的接口。应用程序通过系统调用请求操作系统内核执行某些特权操作，比如读写文件、创建进程等。
在Linux系统中，系统调用是通过软中断机制实现的。当用户态下的应用程序需要执行系统调用时，会触发软中断，然后切换到内核态执行相应的系统调用处理程序，完成对系统资源的操作。 Linux系统提供了一些标准的系统调用接口，包括 open、read、write、close 等，它们都定义在头文件 <unistd.h> 中。开发人员可以通过这些系统调用接口来实现自己的应用程序。
总之，API是程序与程序之间的接口，而系统调用则是程序与操作系统内核之间的接口。虽然二者不同，但是API往往会基于系统调用来实现。
❞

以Linux下的write系统调用为例，用汇编语言演示系统调用的代码，并说明系统调用的实现原理

❝
好的，以下是使用汇编语言在Linux下调用write系统调用的示例代码：
Copy Codesection .data
msg db 'Hello, World!', 0Ah ; 要写入的消息
section .text
global _start
_start:
mov eax, 4 ; write系统调用号为4
mov ebx, 1 ; 文件描述符为1（标准输出）
mov ecx, msg ; 要写入的消息地址
mov edx, 13 ; 消息长度
int 80h ; 调用系统调用
mov eax, 1 ; exit系统调用号为1
xor ebx, ebx ; 返回值为0
int 80h ; 调用系统调用
系统调用是操作系统提供给应用程序使用的一组接口。应用程序可以通过系统调用访问操作系统内核中的功能，例如读取文件、打开网络连接、创建进程等等。在Linux下，系统调用使用软中断来实现，也就是通过 int 80h 中断指令触发内核态代码的执行。
在上面的代码中，首先将write系统调用号4存储在寄存器 eax 中，文件描述符1（标准输出）存储在寄存器 ebx 中，要写入的消息地址存储在寄存器 ecx 中，消息长度存储在寄存器 edx 中。然后通过 int 80h 指令触发内核态代码的执行，在内核中找到对应的系统调用处理函数进行处理。
在内核中，系统调用处理函数会根据传入的参数执行相应的操作，并返回一个结果给应用程序。如果系统调用执行成功，通常会返回一个非负整数表示操作的结果或已读/写字节数。如果系统调用执行失败，通常会返回-1，并设置全局变量 errno 来指示错误类型。
最后，应用程序通过exit系统调用退出程序。exit系统调用和write系统调用的原理相同，都是通过软中断触发内核态代码的执行，内核会终止当前进程并返回指定的退出码给操作系统。
❞

 资料直通车：Linux内核源码技术学习路线+视频教程内核源码

学习直通车：Linux内核源码内存调优文件系统进程管理设备驱动/网络协议栈

如何提高系统调用性能? 请举例说明.

❝
以下是几个提高系统调用性能的示例：
使用系统调用 batching：系统调用 batching 是将多个需要进行系统调用的操作合并成一个系统调用的方法。这可以减少从用户态到内核态的上下文切换，并且减少了在内核中执行相同代码的次数。例如，可以使用 writev() 系统调用来一次性写入多个缓冲区数据。
将 I/O 操作放入异步线程：I/O 操作通常会阻塞进程，这会导致系统调用延迟。使用异步线程可以将 I/O 操作放置在后台，使主线程继续运行。在 Linux 中，可以使用 aio_ 系列函数实现异步 I/O。
避免不必要的系统调用：应该尽可能避免不必要的系统调用。例如，在读取和写入大量数据时，可以使用缓存，以避免频繁的系统调用。
使用内存映射文件：对于频繁访问的文件，可以使用内存映射文件（Memory-mapped file）来避免多次系统调用。内存映射文件允许文件直接映射到进程的地址空间中，并通过简单的内存访问方式进行读写操作。
使用可重入系统调用：可重入系统调用指的是可以同时被多个线程调用而不会发生冲突的系统调用。使用可重入系统调用可以避免线程之间的竞争问题，并提高系统调用的并发性能。
总之，提高系统调用性能需要从多个方面考虑。需要根据具体情况选择适当的优化策略。
❞

系统调用的潘多拉盒子打开后，你还想知道什么？

以上提问只是一个索引，打开了系统调用的大门。在chatGPT时代，所有的知识应该是因你的疑惑而出现，因此，你必须问自己，到底想了解什么，比如，系统调用的优化，以下问题可以引领你：

1. 对于文件读取操作，应该使用 read() 系统调用还是 mmap() 系统调用？为什么？
2. 在写入大量数据到文件时，应该使用多个小的 write() 系统调用还是一个大的 write() 系统调用？为什么？
3. 如果要查询目录中所有文件的信息，应该使用 readdir() 系统调用还是 getdents() 系统调用？为什么？
4. 使用 malloc() 和 free() 函数来分配和释放内存会使用系统调用吗？如果是，如何避免过多的系统调用？
5. 如果需要定期执行某个任务（例如每秒钟执行一次），应该使用轮询方式还是信号处理方式？为什么？

这些练习题涉及到了系统调用的不同方面，需要深入理解系统调用的实现原理和影响性能的因素，希望对你有所启发，并勇敢的挑战自己的认知边界。

 

探索图文处理的未来：知名学府与合合信息团队分享NLP实践经验，人工智能引领技术革新

---

相信最近很多朋友关注的公众号和短视频号都有关于ChatGPT的文章或者视频，对此我就不再过多描述“生成式人工智能”是促成ChatGPT落地的重要技术，“ChatGPT之父”阿尔特曼曾说：“我认为我们离生成式人工智能还有一定距离。至于判断标准，根据我过去五年甚至更长时间的观察和思考，生成式人工智能的诞生是一个渐进式过程（也就是所谓的“缓慢起飞”），而不会是某一清晰的时刻——至少不会是某个获得公认的清晰时刻。”

既然生成式人工智能的诞生是一个渐进式过程，那么哪些领域场景将会逐渐展现出强大的人工智能适用性呢？在由中国图象图形学学会（CSIG）主办，合合信息、CSIG文档图像分析与识别专业委员会联合承办的“CSIG图像图形企业行”活动中，我们得以思索一二。

此次活动以“图文智能处理与多场景应用技术展望”为主题，特邀来自上海交大、厦门大学、复旦大学、中科大的学者与合合信息技术团队一道，面向行内研究者分享图像文档处理中的结构建模、底层视觉技术、跨媒体数据协同应用、生成式人工智能及对话式大型语言模型等研究及实践成果。

一、生成式人工智能是否会是下一个风口？

上海交通大学人工智能研究院杨小康院长在大会上分享了生成式人工智能与元宇宙为主题的技术研究。

1.何为生成式人工智能？

判别式人工智能是以“分析-识别”为基础，开拓了目标识别和分类回归等一系列的研究应用，而生成式人工智能则以“重建合成”方式用于生成各种形式的内容。生成式人工智能是一种人工智能技术，可以学习大量数据并生成与原始数据类似的新数据。生成式人工智能通常使用神经网络或其他机器学习算法来学习数据的模式和规律，并使用这些模式和规律生成新的数据。与传统的分类或回归任务不同，生成式人工智能的目标是生成新的数据而不是对现有数据进行分类或回归。

生成式人工智能通常有两种主要的方法：基于概率模型的生成式模型和基于深度学习的生成式模型。基于概率模型的生成式模型使用概率分布来描述数据的生成过程，并从中抽样生成新的数据。基于深度学习的生成式模型通常使用变分自编码器（VAE）或生成对抗网络（GAN）等深度学习模型来生成新的数据。这些模型可以从数据中学习到复杂的分布和模式，并使用这些分布和模式来生成新的数据。

2.生成式人工智能面临的挑战

生成式人工智能的应用范围非常广泛，但它也面临着一些挑战:

1. 数据不足：生成式人工智能需要大量的数据才能学习到数据的模式和规律，但在某些领域中，如医疗、金融等，数据的获取和共享可能受到限制，因此可能会面临数据不足的问题。

2. 模型不稳定：生成式人工智能模型通常比传统的分类或回归模型更加复杂，因此可能会面临模型不稳定的问题，即同样的输入数据可能会生成不同的输出数据。

3. 难以控制生成结果：生成式人工智能生成的数据通常是自动生成的，因此难以对其进行控制，无法保证生成结果的准确性和可靠性。

4. 生成结果可能不符合伦理和道德标准：生成式人工智能可能生成具有敏感性和争议性的内容，如虚假新闻、歧视性评论等，这可能会对社会和公众产生负面影响。

5. 难以评估和验证：生成式人工智能生成的数据通常没有明确的标准和指标来评估其质量和准确性，因此难以进行验证和评估。

针对这些挑战，研究人员正在开发新的方法和技术来解决这些问题，如使用更加稳定的模型结构、引入更多的约束和先验知识来控制生成结果等。同时，加强伦理和道德标准的监管和规范也是必要的。

3.生成式人工智能场景运用

杨小康院长还分享了生成式世界模型以及生成式虚拟数字人，通过此类技术可以让世界模型更逼近物理现实: 表观模拟到物理现象内部机理去推断，使得数字人更逼真、更通用:；在世界模型上训练智能体，可反哺真实世界中的决策过程，通过立体视觉渲染、多模态驱动、动态模拟技术实现数字人与世界模型交互。

此外，他还介绍了物理现象的视觉仿真与推理: 神经流体研究上的一些突破进展，以及世界模型的持续预测学习的挑战和难点，世界模型表征解耦等学术研究。总结为生成式人工智能为构建基于视觉直觉的物理世界模型和虚拟数字人提供了可行的途径。

此外生成式人工智能在各个领域都有广泛的应用：

1. 文本生成：生成式人工智能可以用来生成各种类型的文本，如新闻文章、小说、诗歌等。这项技术可以被应用于自动化写作、智能客服、智能推荐等场景中。

2. 图像生成：生成式人工智能可以生成新的图像，例如艺术风格转换、图像修复、视频超分辨率等。这项技术可以被应用于电影制作、视频游戏开发、产品设计等场景中。

3. 音频生成：生成式人工智能可以生成各种类型的音频，如音乐、人声、环境声音等。这项技术可以被应用于音乐创作、语音合成、声音修复等场景中。

4. 对话生成：生成式人工智能可以通过学习人类对话的模式和语言规律来生成对话。这项技术可以被应用于智能客服、智能语音助手等场景中。

5. 视频生成：生成式人工智能可以生成新的视频内容，例如视频剪辑、视频合成、视频特效等。这项技术可以被应用于电影制作、广告制作、视频游戏开发等场景中。

6. 3D模型生成：生成式人工智能可以生成各种类型的3D模型，如人物、建筑、汽车等。这项技术可以被应用于产品设计、游戏开发、虚拟现实等场景中。

总之，生成式人工智能在各种场景中都有广泛的应用，可以帮助人类创造更多、更优秀的内容，并提高人类的生产力和创造力。

二、复杂图文处理的未来发展将如何？

中国科学技术大学语音及语言信息处理国家工程研究中心副教授杜俊就团队在文档结构层次化重建领域的最新进展进行分享：如何让机器像人一样可以结合不同模态信号认识理解世界。

1.更深层次的汉字解构研究

基于部首建模的汉字识别、生成与评测，是一种利用汉字的组成部分（部首）来进行汉字处理的方法。该方法可以应用于汉字的识别、生成和评测等多个领域。可以有效提高识别的准确率和速度，用于自动生成汉字书法字体，或者用于生成汉字组合成语言文字，如汉藏语、汉文蒙文等。

1. 基于部首建模的汉字识别、生成与评测的实现过程是一个基于数据、特征和模型的训练和应用过程，需要涉及到数据处理、特征提取、模型训练、预测和优化等多个方面的技术和方法。

2. 部首分解：将汉字按照部首进行分解，得到每个汉字的部首组成部分。

3. 特征提取：对每个部首进行特征提取，例如提取每个部首的笔画数、形状、结构等特征。

4. 模型训练：基于提取的特征，建立机器学习模型，例如支持向量机（SVM）、神经网络等模型，并利用已知的汉字数据集进行训练。

2.自动分析表格结构

杜俊教授提出基于SEM的表格结构识别，SEM（Structural Element Matching）是一种基于结构元素匹配的表格结构识别方法。该方法的原理是在表格识别过程中，将表格的结构看作一种由多个结构元素组成的结构，并将每个结构元素表示为一组特征，然后通过比对待识别表格和预定义的结构元素库中的结构元素，来确定待识别表格的结构和单元格内容。

具体而言，SEM的步骤如下：

1. 预处理：对待识别表格进行预处理，包括图像二值化、去除表格线等。

2. 结构元素库构建：构建包含常见表格结构元素的结构元素库，如表头、行、列、合并单元格等。

3. 特征提取：对待识别表格中的每个像素点提取一组特征，如像素点的颜色、位置、大小、形状等。

4. 结构元素匹配：将待识别表格中的每个像素点的特征与结构元素库中的结构元素进行比对，找出与之最匹配的结构元素。

5. 结构元素组合：根据匹配结果，将结构元素组合成表格的结构和单元格内容。

通过这样的方式，SEM能够对表格进行准确的结构和内容识别，具有较高的准确率和鲁棒性。但是，该方法需要预定义结构元素库，因此对于不同类型和形式的表格，需要进行相应的结构元素库设计和优化，这可能会带来一定的挑战。

3.更精细化的文档解构模型

杜俊教授提还出现阶段文档分析任务中，大多数研究是针对单页内的文章要素的解析，但从内容角度看，许多文档页与页之间内容有关联。该方法的原理是利用预训练的语言模型（如BERT、GPT等）对篇章级的文档进行编码和表示，然后使用相应的解码器将文档中的每个句子或段落与相应的结构类型（如标题、正文、列表等）进行匹配和分类。在这个过程中，模型通常会利用上下文信息、语法规则和语义知识等多个方面的信息，以提高分类的准确性和鲁棒性。

具体而言，该方法的步骤如下：

1. 预处理：对篇章级的文档进行预处理，如分句、分段、去除停用词等。

2. 文档编码：使用预训练的语言模型对文档中的每个句子或段落进行编码，得到其语义表示。

3. 结构类型分类：将文档中的每个句子或段落与相应的结构类型（如标题、正文、列表等）进行匹配和分类，通常使用基于机器学习或深度学习的分类器来实现。

4. 结构化输出：将分类结果转化为结构化的数据，如HTML、XML或JSON等格式，以便进行自动化处理和分析。

这种方法的优点在于可以将篇章级的文档转化为结构化的数据，使得文本数据的自动化处理和分析变得更加容易和高效。但是，该方法需要大量的标注数据和计算资源来训练和优化模型，因此对于某些场景可能不太适用。

三、人工智能结合机器视觉又会在图文处理有何种突破？

1.底层视觉与图像扫描的结合

底层视觉（Low-level vision）主要研究如何提高或恢复各类场景下的图像/视频内容，如清晰度提升，低质量及破损图像恢复等，是计算机视觉领域的重要研究方向之一。其理论和方法在手机图像采集与处理，医疗图像分析等领域发挥着至关重要的作用。底层视觉技术的缺陷将会导致很多high-level视觉系统（检测，识别理解）难以作为成熟产品真正落地。合合信息郭丰俊博士在本次报告中，分享了合合信息技术团队在文档图像处理系统中所做的底层视觉研究工作，从底层视觉技术的直接应用及对下游任务的影响等方面，阐述底层视觉技术在文档图像处理/识别场景下的价值与思考。

2.文档处理与人工智能的结合

文档处理与人工智能的结合，是指将人工智能技术应用于文档处理领域，通过自然语言处理、图像识别、机器学习等技术，对文档进行自动化处理和分析。

具体而言，文档处理与人工智能的结合可以实现以下功能：

1. 文本识别：通过图像识别技术，将纸质文档或扫描件转化为可编辑的文本格式，以便进行后续处理和分析。

2. 文本分类：通过机器学习技术，将文本按照特定的分类方式进行自动分类，如按主题、按语言、按情感等。

3. 信息抽取：通过自然语言处理技术，从文本中自动抽取出特定的信息，如人名、地名、时间等，以便进行自动化处理和分析。

4. 文本摘要：通过自然语言处理技术，将长篇文本自动化地进行摘要，提取出其中的关键信息，以便浏览和阅读。

5. 文档翻译：通过自然语言处理技术，将文档进行自动翻译，实现多语言文档的处理和分析。

6. 知识图谱：通过自然语言处理和图谱技术，将文档中的知识点提取出来，并将其构建为知识图谱，以便进行知识管理和分析。

文档处理与人工智能的结合，可以实现对大量文档的自动化处理和分析，提高工作效率和准确性，降低人力成本和时间成本，对于企业的知识管理和业务分析具有重要的意义。

合合信息智能文档处理技术采用精准的图像裁剪、形变矫正以及去除阴影和摩尔纹等技术，利用人工智能技术对文档图像进行增强和清晰度提升，从而提高文档图像的质量和阅读体验。通过这种方法，可以有效提升文档处理下游任务的质量和效率，例如识别转换和图像分析等。目前，该技术已经被应用于智能文字识别产品，为来自全球上百个国家和地区的数亿用户提供了服务。

四.活动展望总结

根据众位学术技术大咖的分享来看，未来图文智能处理的发展将会更加智能化、自动化和可定制化。具体来说，未来的图文智能处理技术将会更加注重生成式人工智能技术的应用，例如深度学习、自然语言处理、计算机视觉等。这将使得处理效果更加准确和高效。同时，未来的图文智能处理技术将会更加自动化，例如自动识别文档类型、自动分类文档、自动提取文档信息等，这将进一步提高文档处理的效率和准确性。此外，未来的图文智能处理技术也将会更加可定制化，根据不同的行业和应用场景，为客户提供量身定制的解决方案。这将有助于满足客户的不同需求，提升客户的体验和满意度。