Laxcus分布式操作系统6.0版本的技术创新
Posted 姓赵名大奇
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Laxcus分布式操作系统6.0版本的技术创新相关的知识,希望对你有一定的参考价值。
不久之前,Laxcus分布式操作系统经过漫长近两年的研发升级迭代测试,6.0版本已于近期正式发布。做为一个以高性能计算为目标,以云和计算机集群为基础运行环境,处理大规模、超大规模分布式存储和分布式计算的分布式操作系统,在传统的单机操作系统之外,一个以多机协同为处理方案,执行分布式业务的Laxcus应用产业生态也正在形成。
Laxcus是以云和计算机集群做为基础硬件,实现高性能存储和计算的分布式操作系统
新的6.0版本相比之前的5.0版本,各项性能指标均实现大幅提升。系统新增源代码达到152%,主要功能的增加升级改进幅度超过40%。从系统内核到安全管理、网络通信,再到分布式总线、分布式存储、分布式计算,分布式编程接口,直到图形用户界面,都进行了全面优化升级。实地测试表明,相同的服务器集群,相同的大规模、超大规模分布式应用场景下,6.0版本比5.0版本,消耗资源更少,安全性更强,分布式处理效率更高,人机交互更简单。其中网络通信效率提高200%-2000%,分布式计算效率提高20%-160%,基于温彻斯特硬盘的分布式存取效率提高18%-25%,基于SSD固态硬盘的分布式存取效率提高40%-60%,基于内存的分布式存取效率提高30% - 80%,基于SQL的大数据检索时延减少22%-56%。根据近期收集的用户调查问卷,Laxcus分布式操作系统的图形用户界面、用户使用体验,已经接近于主流的Windows、Macintosh。在当前“万物皆互联、一切是存储、全部是计算”的大背景下,Laxcus分布式操作系统除了继续强化“通信和网络融合,数据、存储、计算一体化”的能力,借助新的多云互联技术,已经逐渐发展成同时连接云端、边缘端、终端的新一代操作系统。
在Laxcus分布式操作系统6.0版本众多新技术新功能中,有9项创新最具颠覆性。它们来自Laxcus分布式操作系统多个层面,在它们的合力之下,进一步改善了用户体验,提高了Laxcus处理大型应用业务的能力,从根本上改变了Laxcus分布式操作系统面貌。今天就从系统功能和用户角度,来说说这些创新工作。
- 全新一代图形用户桌面
- 如果在Laxcus 6.0版本所有创新中,找一个变化最明显、升级幅度最大、创新点最多的,那么非图形用户桌面莫属。它改变了之前的人机交互,实现了从字符界面向图形界面的升级,与之同步的,还解决了分布式应用软件开发、部署、使用等一系列标准化问题,让用户在处理分布式工作时,更简单、更快捷,更容易操作。这项进步堪比当年Dos向Win95的升级。
研发团队在设计Laxcus 6.0桌面过程中,从整体到细节,进行了大量测试尝试,在借鉴了当前主流图形桌面设计的同时,也注入自己的美学元素。比如桌面风格整体被图标化,用生动活泼的图标展示取代了呆板的文字表达。图形窗口设计成扁平化为基础,加窄边框、细边条、红黄绿三色灯的新GUI范式。让用户聚焦内容的同时,保持醒目的前端窗口。Laxcus桌面有和Mac桌面的一样的Dock应用坞,但取消了Mac上方的菜单栏,代之以下方Windows风格的任务栏,整体效果更加简洁舒适。为了给任务栏上的应用软件留出足够空间,系统托盘用改成可弹出可隐藏的切换样式。Laxcus 6.0桌面还支持应用软件的浮窗效果,将鼠标移到任务栏的应用软件上,在不打开应用窗口情况下,就可以把后台应用软件的运行状态实时展示出来。桌面皮肤除了有系统默认选项,也允许用户自定义桌面背景和皮肤。以上设计,都是研发团队的反复权衡取舍的结果,是以前版本没有的。这些设计已经使得Laxcus图形桌面和Windows、Macintosh的图形桌面无太多差别。 -
Laxcus分布式操作系统6.0图形桌面
- 分布式应用软件Laxcus 6.0版本中,仅次于图形用户桌面,排列第二的创新,当属分布式应用软件。分布式应用软件发现到今天这个样子,也不是一蹴而就,而是经历过之前多个版本的技术迭代。在6.0版本上,它最终解决长期困扰分布式应用领域的两个根本难题:如何让开发者开发分布式应用软件?如何让用户使用分布式应用软件?前者解决了分布式应用软件标准化开发的问题,让开发者更容易用更低成本开发分布式的应用业务;后者解决了在不需要培训情况下,让用户傻瓜操作分布式应用软件。这是兼顾字符界面和图形界面的完整解决方案,是研发团队在Laxcus分布式操作系统上全新尝试的独家原创成果。
这里需要强调一下,分布式应用软件和单机操作系统上的应用软件运行机理完全不同。在Laxcus分布式操作系统上运行的应用软件,会分散到很多计算机上同时执行,涉及网络通信、资源分配和检索、远程过程调度等很多单机应用软件没有的问题,并且需要运行过程可以动态调节和保证容错冗余。因为分布式应用软件运行规模非常大,能够处理海量数据,效率相比单机应用软件也是指数级增长。这个特点使它尤其擅长处理大型的存储和计算工作,将单机应用软件难以完成的任务,或者短时间难以完成的任务,可以瞬时完成,极大提高了生产效率。
Laxcus分布式操作系统为开发者提供了一套标准化的分布式编程接口。接口包括图形用户界面、分布式存储、分布式计算、业务编排。为了降低开发难度,减少工作量,提高开发者的开发效率,与分布式应用软件关联的基础功能全部由系统处理,留给开发者的,只是相关的业务接口。开发者只需要掌握相关的分布式编程规则,派生这些业务接口,和业务需求对接起来,然后编译程序代码,制作生成软件包,就完成了分布式应用的开发工作。总体来说,和编写一般的单机应用软件没有什么差别。
部署分布式应用软件也是类似的情况。最简单的办法是用户在安装应用软件或者首次运行应用软件时,通知系统把它部署到关联的计算机节点上。这个过程对用户透明,用户不需要做任何工作就能完成,对用户特别友好。另外就是针对开发者调试测试时的部署,这时需要开发者熟悉部署命令,还应具备能够解决软件错误引发的部署故障的能力。
-
传统操作系统和Laxcus分布式操作系统功能特点对比 -
一个图形用户界面的的分布式应用软件
- 更可靠的水密隔舱容器容器是云端业务的托管运行平台,也是目前云业务的主要管理手段。在6.0版本之前,Laxcus容器对应用的管理,和目前主流容器一样,都是采用堆叠集装箱的集中部署放置。但是从6.0版本开始,Laxcus把这种布置应用改成水密隔舱方式。水密隔舱容器的创新之处在于改变了资源分配方式,它将原来容器集中管理所有应用、应用共享容器资源的模式,调整为一个个独立的封闭空间,每个应用独享其中一个空间。这项改进使它更接近于虚拟机的处理效果。
水密隔舱容器拥有以下优点:
- 杜绝了应用程序之间的相互干扰和非法访问
- 提供了更加安全可靠的托管运行模式
- 应用软件故障被限制在封闭空间内部,不会再出现一个应用故障波及影响到其它应用运行的现象。
不过水密隔舱容器也有缺点,就是需要多占用更多系统资源,对应用软件的管理维护也更复杂。但是综合考虑,这项改进得大于失,付出是值得的。
两种容器结构,水密隔舱容器更接近虚拟机的效果
- 超大规模数据传输
通信是所有分布式业务最基础的核心功能,相当大决定了分布式业务的处理效率。在Laxcus分布式操作系统里,计算机集群统一使用FIXP通信协议,这是一个二进制的点对点通信协议。为了进一步提高应用业务处理效率,从6.0版本开始,FIXP协议做了重新设计,引入类似5G无线网络的Massive MIMO技术。新FIXP协议的通信信道被分成两组:用于指令传输和系统调控的命令信道,和用于数据传输的数据信道。数据信道拥有多个收发单元(收发单元类似无线通信模组,根据业务需要动态分配调整),以乱序方式实施并行的数据传输。为了防止数据流量过大引发网络过载出现丢包现象,操作系统上的DFL3人工智能模型将发挥作用,主动控制数据传输行为,动态调整数据传输速率,让数据传输和网络设备始终保持在稳定状态。
根据不同应用场景下的测试结果表明,Laxcus分布式操作系统采用多发机制和乱序传输后,在网络基础设施不变的情况下,能够将数据传输效率提升2-20倍,特别是在面对大规模、超大规模分布式数据处理情况下,效果非常明显。因为数据传输时间被极大压缩,各种依赖数据的计算工作得以快速实施得到计算结果,这样就进一步提高了应用业务工作效率,改善了用户等待时间。
依赖大规模数据传输和计算算力,分布式应用软件得以加速处理大数据和人工智能业务。
5. 更高效的分布式总线
如果说图形用户界面、超大规模数据传输是在已有技术上的借鉴式创新,那么分布式总线则是Laxcus分布式操作系统独有技术的升级迭代。
在Laxcus分布式操作系统里,分布式总线是多种技术和基础功能的混合体。作为系统的核心之一,它负责系统资源和应用业务的组织、分配、调度、监督管理,涉及分布式指令、作业流、虚拟化、资源调控、安全管理、网络通信诸多环节,在Laxcus分布式操作系统里承担一个承下启下的角色。对外,它接受外部的各种业务请求;对内,它将各种业务请求翻译成系统可以理解的分布式指令和作业流,分散计算机集群中处理,最后将处理结果返回给请求业务。
Laxcus分布式总线采用的是松耦合架构。松耦合架构的好处是它的稳定性极高,适应性极强,能够经受住各种极端环境考验。缺点是它处理业务时响应能力差,要远低于Laxcus更早期采用的紧耦合架构。这个问题从2.0版本,一直影响着分布式作业效率,特别是处理大型应用业务的时候,影响尤其明显。
在6.0版本中,在保持分布式总线松耦合架构前提下,研发团队从每个环节入手,进行了大幅改进升级和综合性深度优化。效果是将系统的响应能力,从秒级下降到毫秒级别,提升了2个数量级。考虑到Laxcus集群每时每刻都有大量的存储和计算工作处于运行和等待运行中,并且这些工作都是以分布加并行的方式,分散在很多计算机节点上同时进行,分布式总线做为所有分布式业务的管理者,提升的是总体作业效率,由此节省的时间,综合统计起来,是一个非常巨大的天文数字。
Laxcus分布式操作系统1.x - 5.x版本的系统架构对比性能测试
分布式总线提升的是总体作业性能
6. 全域安全管理
全域安全管理的职责是为应用业务提供一个安全的运行环境,是在原有安全模型上的更新升级。在6.0版本中,原来独立分散在各个环节上的安全管理模型,经过重新调整设计后,被合并成一个整体,纳入一套体系中运行。因为在一套体系中运行,作业流接受统一的监管,从而杜绝了安全死角,实现了用户对应用业务全流程安全可控的要求。
全域安全管理是点到点的安全方案,链接分布式处理流程的每一个步骤,从用户图形桌面的键盘鼠标开始,直到服务器集群的硬盘结束,中间涉及非对称加密、对称加密、数字签名、网络通信、内存、磁盘、处理器、分布式存储、分布式计算,业务管理模型、系统沙箱、用户权限。
为了强化安全管理,全域安全管理支持用户自定义加密规则,允许用户向系统注入自己的密钥和算法。同时也支持第三方硬加密设备,包括像量子加密、经典密钥机,这些措施进一步强化了密钥源的安全可靠。
在针对安全源头的非对称密钥设计上,全域安全管理把早期的长加密改为短加密,使得密钥生存期更短,同时引入了一次一密的随机生成机制,保证每一项业务的分布处理过程中,在不同的节点不同的环节,都有不同的加密算法和密钥。因为非对称密钥巨大的逆向解除难度和生成密钥的随机性,黑客即使掌握了加算算法,现有破译手段也无法在短时间获得密钥明文。这样就保证了系统和应用业务的分布式处理安全。
Laxcus 6.0版本提供的全域安全管理方案,已经全面超越了STL能够提供了安全能力。
全域安全管理是点到点的安全方案,涉及分布处理的每个环节
7. 库仓一体
做为一个处理大型业务的分布式操作系统,分布式存储做为Laxcus最重要的核心基础功能,一直是重金投入的研发对象。它解决了用户处理大型业务时的两个基本需求:在拥大巨大分布式算力的同时,也拥有服务大型分布式计算业务的分布式数据库。
在6.0版本,这项功能被进一步升级放大:Laxcus分布式操作系统把数据库和数据仓库融合成为一体。
按照当前流行说法,库仓一体属于HTAP范畴。它同时满足用户的OLTP和OLAP两种业务需求,前者主要处理交易型业务,后者主要处理分析型业务。如果把Laxcus分布式操作系统进行解耦分层,库仓一体位于存储层,建立Laxcus分布式文件系统上。若依据物理存储模型来划分,数据库属于NSM模型,数据仓库属于DSM模型,前者以行为单位实现数据存取,后者以列为单位实现数据存取。用户如果想实现二种数据的相互转换,可以借助ETL工具或者ETL命令来处理。
因为库仓一体分别对应Laxcus分布式文件系统的NSM、DSM模型,它们的数据存储结构完全不同,如果不加修正就交付使用,会给开发者和用户增加很多负担。所以为了简化开发者和用户的编程使用,在编程接口和人机交互层面,库仓一体的NSM、DSM模型又被合并为一体,用一套接口表述。这样开发者或者用户在编程和使用软件的时候,系统根据传入的指令,自动识别对应的存储模型,转义成其它相关指令去执行数据处理。
库仓一体另一个项创新是分布式映射,就是当数据写入某台计算机的磁盘后,马上通知计算机集群,让所有节点知道。新的分布式映射采用抽象二像表技术,它将数据通知的迟滞时间,由几秒到十几秒,下降到秒级以下,最终实现的“所存即所得”的效果。这样当写入磁盘的每条记录,都能写入之后马上检索得到。
库仓一体的其它创新还包括新的压缩算法和自定义加密技术。通过压缩,数据可以用更小的体积保存在磁盘上。通过自定义加密,允许用户自己加密数据,数据在离开用户的计算机,写入云端磁盘之前,已经经过混淆处理。保证数据传输和处理的任何中间环节任何人,都无法获得数据明文,为用户在系统安全基础上,又增加了一道安全保护屏障。
库仓一体位于Laxcus基础核心之上的基础层,是众多功能的处理服务对象
8. 支持云盘
在6.0版本之前,Laxcus分布式操作系统被重点用来处理大型的计算类业务,用户无法将文档、图片、音频、视频类内容保存到自己的云端。为了满足用户这项需求,方便管理自己的云端文件,也是促进Laxcus向通用操作系统转型,在6.0版本中,加入了云盘功能。
和目前大多数云盘一样,Laxcus云盘使用非常简单。普通的用户使用图形桌面上的“我的资源”,操作键盘鼠标,就能够操作云盘。对于开发者们,它们可能更感兴趣的是使用命令,所以Laxcus运行也支持命令行处理,通过分布式终端,输入字符串命令就可以操作云盘。
使用图形界面操作云盘是一般用户的主要使用方式
使用字符界面和分布式命令操作云盘是开发者通常选择的模式
9. 全面拥抱云原生
做为一个以计算机集群和云计算为运行环境,处理分布式业务的操作系统,Laxcus一开始就将自己定位为云基础设施,严格遵照云三层架构进行了产品设计实现。这几年随着云原生的成熟和普及,Laxcus也在不断调整改善基础功能和作业流程,持续支持云原生,到了6.0版本,已经实现了完全拥抱云原生。
在6.0版本里,云原生的五项要素,除了“不可变基础设施、服务网格、容器”之前已经满足外,主要改进是在“可声明API方面、微服务”两项上。
改进主要体现以下几个方面:
1. 实现多云互联:6.0版本实现了将分散的云环境组织起来,统一调度控制,形成更大规模的云环境。这样就能对不同属地、不同属性的云环境,实现跨地域、跨网络的互连、互通、互操作,为用户提供更大规模,更大范围的分布式运行环境。同时多云互联大还有助于简化云端的设计和部署、节约电力,降低人力维护成本和相关资源消耗,特别适合大型且物理分散的公司、企业使用。
2. 分布式编程接口:在编程接口上支持字符化指令(类似SQL语句的文字描述),允许开发者动态嵌入到环境中运行。
3. 业务智能化:应用业务在云端的维护、编排、运行工作,不需要用户干预,全部交给系统处理。
4. 支持在线开发、不停机热部署、在线弹性测试,保证应用业务快速迭代和持续交付使用。
Laxcus分布式操作系统对标云三层架构
云原生五要素,Laxcus 6.0重点是完善“声明式API和微服务”
目前Laxcus分布式操作系统6.0版本已经在官网正式发布,欢迎大家下载试用,也欢迎大家反馈您的宝贵意见和建议。非常感谢!
最后用一段2021 0S2ATC开源操作系统年会演讲结束本文:
Laxcus是操作系统家族新物种,不同于Windows、Linux等单机操作系统,它属于多机操作系统。
传统的操作系统,一套系统支持一台计算机运行。
Laxcus分布式操作系统,一套系统支持许多台计算机同时运行。
传统的应用软件,运行环境是一套操作系统和一台计算机。
Laxcus分布式应用软件,运行环境是一套Laxcus分布式操作系统和许多台计算机。
相比传统的操作系统,Laxcus分布式操作系统覆盖云端、边缘端、终端,能够提供更大算力、更多存储空间,链接更多应用场景,其网通融合、数存算一体的综合处理能力,结合分布式应用软件的并行计算,指数级提升作业效率,充分满足高存储、大计算业务需求!
目前Laxcus分布式操作系统6.0社区版本已经放在官网上,欢迎大家下载试用,提供意见和建议,帮助我们更好改进升级产品。
以上是关于Laxcus分布式操作系统6.0版本的技术创新的主要内容,如果未能解决你的问题,请参考以下文章