操作系统和Web服务器那点事儿 Posted 2021-04-19 编程技术圈 tags: 篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了操作系统和Web服务器那点事儿相关的知识,希望对你有一定的参考价值。 每日英文 Sometimes you have to let go to see if there was anything worth holding on to. 有时候,顺其自然,你才会知道那些事是否值得拥有。 乐乐有话说 一个人的自愈的能力越强,才越有可能接近幸福 。做一个寡言,却心有一片海的人,不伤人害己,于淡泊中,平和自在 。 封面来自网络 00 操作系统老大 又一个进程启动了,操作系统老大叹了一口气,毕竟自己的肩头又多了一份责任。 规矩很重要! 想到此处,老大又看了一眼自己的内核空间,这个机器只有可怜巴巴的4G内存,0-3G给各个进程共享使用,自己独占了从3G-4G的内存空间。 新启动的进程是一个Web服务器,自称小W,这是个喜欢问问题的家伙,他第一个问题就是: ”老大,你为啥不和群众打成一片,反而自己要独占空间呢?“ “这是为你们好?” “为我们好? ” “计算机的硬件资源是有限的,硬盘、内存、网卡,键盘,鼠标,时钟...... 如果任由你们这些进程随意访问,大家你争我抢,岂不乱套?” “再说了,那些底层的硬件、驱动操作是极其麻烦的,让你们每个进程都去写那些‘恶心’的代码,你们受得了吗? “ ”还有,如果某个恶意的家伙故意捣乱,那还了得?” 老大的三连问简直是振聋发聩, 小W立刻觉得气短了三分。 “所以你就不让我们直接访问了?” “对啊,我就做了一个抽象层,你们必须通过这个抽象层来访问硬件资源。这个抽象层之下就是我的内核,是我的代码和数据,所以我必须得单独居住,不能和你们混在一起。” 01 系统调用 “那我想访问一个硬盘上的文件,到底该怎么办?” 小W问道。 “非常简单,我的抽象层中有对外提供的接口,叫做系统调用,例如read、open、close等。 你可以open 一个文件,read它的内容,读完了close。” “听起来好像是函数调用啊!” “对,就是函数调用,但是和你内部的函数调用有本质的不同,这种系统调用会让你从用户态切换到内核态, 也就是到我的内核代码中来执行!” 小W懵懂地点点头,似乎明白了。 他应该没有明白,他也明白不了, 操作系统老大心里想,系统调用之复杂远远超过他的想象。 首先所有Linux的系统调用的参数都是通过寄存器而不是栈来传递的,按照惯例寄存器EAX保存了系统调用的编号(例如1表示exit这个系统调用,2表示fork,3表示read......),寄存器EBX,ECX,EDX,ESI,EDI可以包含最多6个任意的参数。 比如:write(1,"hello",5); 这就是个系统调用, 就是向stdout(控制台)输出一个字符串,在运行时,必须把寄存器给设置好: EAX = 4 (4表示系统调用的编号) EBX = 1 (1 表示stdout) EDX = 字符串的长度 然后调用int 0x80 系统中断,这就进入了内核, 我会取出EAX, 从一个内核的表格中查到第4号对应的系统调用处理程序来执行。 对了,我还需要把CPU的特权等级从3置为0,表示内核态。 看看,我容易吗我! 操作系统心里略微有点伤感。 02 read 和 write 这时候小W探出头来,兴奋地说:“hi ,老大,有客户要访问咱们硬盘的文件,我得读取一下,然后通过socket发出去。是不是需要系统调用了?” “那是肯定的,访问文件系统必须得通过我,访问socket也得通过我,不用系统调用怎么可能? 除去open ,close, 你需要两个关键的系统调用:” // 从文件(用fd表示)中读取len长度的内容,放到buffer中 read(fd, buffer, len); // 把buffer中长度为len 的内容写入到socket中(用sockfd表示) write(sockfd, buffer, len); (注: read和write 应该是sys_read和sys_write的“包裹”函数,我们这里简化,认为就是直接的函数调用。) “好滴!” 小W做了一些准备工作,然后便开始read, 然后满心欢喜地等待数据的到来。 操作系统收到read调用,陷入内核,正式进入了内核态,然后毫不客气地暂停了小W的执行,让他进入了阻塞队列(假设小W只有一个线程)。 小W表示不满:“怎么不让我运行了?” “读取文件太慢,你先歇会儿,数据来了会通知你的。” 老大使用DMA(Direct Memory Access)的方式把文件的数据从硬盘复制到了内核的缓冲区, 然后又复制到了用户的缓冲区,read调用完成,返回用户态 ,小W可以继续执行了。 小W要通过socket发送数据,于是又发出了write调用,再次陷入内核,进入内核态。 老大把数据又从用户缓冲区复制到socket缓冲区, write调用返回,返回用户态。 小W问道:“这次这么快就返回了?数据发出去没有啊?” 老大说:“这就不用你操心了,网卡驱动会在合适的时候发送的,这是个异步的操作。” 小W画了一张图,试图理解整个过程,等他把图画完,不由得咂舌:“啧啧,这么两个简单的系统调用,代价竟然如此之高啊。” (1) 需要进入内核态两次,返回两次。 (2) 数据居然发生了三次复制,硬盘-->内核缓冲区-->用户缓冲区-->socket缓冲区 如果说第一次从硬盘到内核缓冲区必不可少,后面的两次就太浪费了。 老大说:“你看到了吧,系统调用的开销很大啊,以后要少点调用啊。” 小W说:“我觉得你这个内核虽然保护了硬件,但是导致效率很低啊,能不能优化一下,省去用户态<-->核心态之间的数据复制? 这太浪费了!” 03 sendfile 老大哈哈一笑, 说道: “我早就料到了这一层,我这里还有个系统调用,叫做sendfile,你可以试试啊,通过这个系统调用,可以直接把文件内容发给socket。 ” sendfile(socket, file, len); 小W一看,不错啊,自己只需要调用sendfile,进入内核态一次就可以了,老大可以把数据从硬盘复制到内核缓冲区,然后直接复制到socket缓冲区, 完全不用自己介入,就用它了! 可是转念一想,这从内核缓冲区到socket缓冲区的复制有必要吗? 那个网卡驱动不能直接从内核缓冲区读数据吗? 老大似乎看穿了小W的心思,说道:“我知道你在想啥,放心吧, 我早就做了优化了,不会把数据从内核缓冲区复制到socket缓冲区,相反,我只会把一些位置和数据长度等信息复制过去,很省事的。网卡驱动可以直接从内核缓冲区读去数据。” 小W放心了,开始使用这种sendfile的方式,果然,性能大为提升! 这其实就是所谓的zero copy技术, 从内核角度看,除了把文件从硬盘读出来之外,没有任何的额外copy。 zero copy技术减少了上下文的切换,避免了数据不断地在用户态和核心态搬运,不需要CPU参与数据的复制,提高了系统性能,在ngnix, apache等web 服务器中都引入了zero copy技术。 如果您觉得不错,请别忘了转发、分享、点赞让更多的人去学习, 您的举手之劳,就是对小乐最好的支持,非常感谢! 推荐阅读 看完本文有收获?请转发分享给更多人关注「程序员小乐」,提升技能 以上是关于操作系统和Web服务器那点事儿的主要内容,如果未能解决你的问题,请参考以下文章 浅谈Cookie、HttpOnly那点事儿 谈谈Android系统启动时的那点事儿 Linux系统中“动态库”和“静态库”那点事儿 Linux系统中“动态库”和“静态库”那点事儿 关于LOG那点事儿 关于代码质量的那点事儿