OS2ATC 2021:开源协作,和而不同

Posted CSDN云计算

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了OS2ATC 2021:开源协作,和而不同相关的知识,希望对你有一定的参考价值。

12月26日由中科院软件所主办,清华大学、北京大学以及鉴释科技承办的第九届开源操作系统年度技术会议(OS2ATC)正式拉开序幕,百余位重量嘉宾莅临现场,围绕大会主题“开源协作,和而不同”共同探讨操作系统开源生态和技术前沿。

此次大会以线上线下结合的模式举办,共吸引了超过500名业内人士参加。会议当天上午,来自清华大学、上海交通大学、香港大学等国内外高等学府的教授坐阵主会场及圆桌论坛,向大家传递领域内最新科技进展,下午在北京、上海、深圳三地举行分论坛研讨会,更有华为、阿里云、腾讯云、蚂蚁集团等知名科技企业的技术专家围绕往年“内核技术”、“应用生态”、“云原生”、“虚拟化技术”、“编程技术”等主题讨论,以及今年特别增加的“机密计算“、”车载OS“、“硬件”这三大热门的方向展开演讲。八大分会场将同时为大家带去各自主攻技术的主题演讲,为操作系统开源协作建言献策。

在北京的主会场上,本次会议主席,来自中科院软件所的副总工、智能软件研究中心主任武延军老师致开场词,预祝大会顺利进行。

随后来自香港大学、清华大学、上海交大、阿里、腾讯等在操作系统领域卓有建树的专家学者带来的精彩的技术报告:

香港大学助理教授崔鹤鸣带来了主题为《AI大模型并行训练系统平台》的演讲内容,其内容将发表在ASPLOS2022大会上。在演讲中,他介绍了AI大模型三维分割中的流水线并行与大模型的动态性两大问题。针对流水线并行问题,崔鹤鸣老师的研发团队联合华为技术专家与中科大老师研发的系统,通过在底层进行虚拟化的CPU内存管理,合理的通过一系列算法对default、Swap、recompute、Migration四大状态进行分配,从而实现了在整个流水线高吞吐量的同时,又不会影响CPU闪存的工作状态。

同时崔老师也介绍了其团队后续的研究计划,他将带领团队深入研究AI大模型的动态性问题,通过在三维并行之外添加全新的超网子网并行维度,实现更具性能的AI大模型训练平台。

在接下来的演讲中,阿里云智能技术软件部操作系统团队负责人马涛发表了《云计算与操作系统产业的发展》主题演讲。他讲述了阿里云10年的云计算发展实践之路和云原生的发展方向:从开源CentOS到阿里OS再到去IOE浪潮,从技术的内部满足到后来的产品化输出,以及近两年阿里云致力于的开源社区与生态的构建。

在演讲中马涛总结了未来操作系统产业的五大发展趋势与机遇,即:

  • 云计算时代重塑计算形态需要新的运行环境
  • 后摩尔定律时代需要进一步提升计算效率
  • 海量数据爆炸之下遇到的内存墙问题
  • 数据安全和隐私保护推动新的计算技术
  • 下个十年操作系统产业发展依然要以开源社区为中心

继马涛在演讲中提到大数据时代的内存问题,下一位演讲嘉宾清华大学陆游游副教授分享了《内存系统一致性的新探索》主题演讲。针对闪存系统的崩溃一致性问题,陆游游老师的研发团队针对存储系统中的ordering与transaction,通过硬件的方式做出改变与尝试。陆老师介绍的相关内容发表在OSDI2021等国际会议上。

他表示:硬件的性能越来越快,但是很多时候由于软件功能的限制,我们并不能将硬件的性能发挥完全。比如说想要通过传统软件实现通过一个字节访问接口访问PRM是很麻烦的,但通过硬件就比较容易实现。我们所做的便是在软硬件接口上做很小的改变,利用硬件特性扩展的一点点接口,就可以在软件层面上实现很大的改变。

接下来,上海交通大学的糜泽羽带来了主题为《TwinVisor:Hardware-isolated Confidential Virtual Machines for ARM》的演讲,糜老师介绍的相关内容发表在OSDI2021等国际会议上。随着有越来越多的公司和个人将数据托管于云上,来自云上的攻击层出不穷,如何保护用户在云上的数据安全成为一个很大的命题。在演讲中,糜泽羽老师介绍了利用TrustZone技术为云用户提供云虚拟机安全方案的系统Twinvisor。通过复用非安全世界、安全世界之外非常成熟的KVMhypervisor,统一管理物理机器上的所有资源以及NVEM,进行统一调度分配,从而保障安全。

 

在演讲中,糜泽羽老师以TrustZone静态硬件设计假设之上进行动态资源转移的场景案例进行了进一步说明。他表示:利用Linux现有的CMA,我们可以实现动态的内存管理模式,即不用的时候内存可以为Linux其他模块所使用,需要使用时CMA可以大面积管理连续内存。利用这一机制,我们实现了两个世界之间协同的内存管理解决方案。

腾讯云异构计算研发负责人宋吉科为与会嘉宾分享了《腾讯云异构计算技术的演进之路》的主题演讲。随着计算异构化的趋势愈发明显,对于GPU产品而言,单一业务无法保障利用率,而多业务又会存在显存隔离、算力隔离、故障隔离的三大维度问题。所以业界需要一个能够同时满足三大隔离行要求,同时不存在明显短板的GPU共享解决方案。腾讯云所研发的qGPU通过在Kernel space将UMD和KMD之间的通信进行完整的拦截和控制,实习了显存隔离、算力隔离、 故障隔离三大隔离性要求。同时qGPU支持best-effort、fixed-share与burst-share三大模式以满足各类业务场景下的不同需求。

同时在演讲中宋吉科还深入地介绍了腾讯内部虚拟team云帆团队推出的AI加速引擎TACO。该产品由用户态协议栈HARP、分布式训练框架LightCC以及增强版TTensorflow三大组件组成,实现了分布式训练加速以及推理引擎加速的功能。

高级首席工程师林晓东先生介绍了面向机器学习加速的新的x86硬件扩展:AMX(高级矩阵扩展)。AMX设计主要用于对矩阵进行操作,目的是加速机器学习工作负载。矩阵乘法是神经元网络的关键操作,与VNNI(矢量神经元网络指令)相比,AMX为矩阵乘法提供了8倍的FLOPS。伴随着显著的性能提升,AMX引入了一个新的寄存器文件,有8个1KB的架构寄存器。大量的寄存器给操作系统带的进程/线程上下文切换等,特别是进程/线程状态管理,带来了挑战,为此需要采用惰性切换等技术确保进程/线程管理的高效性。最后还具体介绍了AMX在TensorFlow和PyTorch等DL框架中的应用,以及Linux中的进程/线程状态管理的方法。

在时代浪潮的推动下,作为基础软件的三大件之一,操作系统的创新升级与开源协作势在必行。而每年的OS2ATC对于开发者而言,则是一个开拓技术事业,提升行业认知的良好窗口。

以上是关于OS2ATC 2021:开源协作,和而不同的主要内容,如果未能解决你的问题,请参考以下文章

微软开源主管 Sarah:2021 年四大开源注意事项

华为任旭东:开源协作构建产业统一平台,使能应用一站式集成

盘古开源深度分析:是什么让Filecoin如此与众不同?

有没有好用的看板协作工具?

GitHub 多人协作开发 三种方式:

Seminar 回顾 | 开源项目协作最佳实践