华为云发布全新容器技术 加速云原生技术商用进程
Posted Linux就该这么学
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了华为云发布全新容器技术 加速云原生技术商用进程相关的知识,希望对你有一定的参考价值。
华为云在第四届HC大会上正式对外发布了容器多云混合云解决方案2.0版本以及全新的高性能批量计算解决方案,帮助企业级用户构建更大规模的容器混合云平台,释放多元算力,助力计算密集型企业彻底解决Kubernetes容器中的算力问题。
近年来,随着云计算的快速发展,企业在传统应用方面的投资正在缩减,对云原生应用的投资则在逐步增长,数字化转型趋势下的云原生时代正在来临。华为云作为云原生计算基金会(Cloud Native Computing Foudation,CNCF)的初创成员,始终致力于深耕云原生技术,围绕多云、智能、异构和边缘四大发展趋势,进行持续创新,输出云技术及开源成果,助力更多企业实现云原生和数字化转型。
容器多云混合云2.0 助推企业容器化发展进入新时代
传统企业出于对IDC资产的保护以及降低IT投入和维护成本的综合考量,都会考虑混合云,而像业务量庞大的头部互联网企业,从业务稳定性和连续性的角度出发,也必然要面临多云的选择。如今,多云、混合云已不再是技术的发展趋势,而是真真切切的市场诉求。
据了解,华为云容器多云混合云解决方案的1.0版本于今年3月发布,是云原生技术领域较早实现商用的多云、混合云管理平台,比Google发布的Anthos早了将近一个月。
从技术角度来看,多云混合云自下而上分为资源混合、数据混合以及应用混合三个层次,非容器的多云混合云解决方案关注的是网络和数据,尤其是中间件,例如数据库、缓存、消息等。华为云容器多云混合云重点关注从应用视角出发的全栈解决方案,基于KubeFed(Federation V2)和Istio的核心能力,将不同云之间的Kubernetes集群统一管理起来,并通过Istio的智能路由能力,打通下层的网络与数据,为用户提供真正的一站式“应用跨云”解决方案,实现业务请求的跨云分发,破解了第二类的应用层混合管理难题。
据华为云应用管理服务域总经理方璞透露,华为云容器平台在安全、易用、可靠、生态等方面的优势及特性,获得了来自上百家大型企业客户的普遍认可,但对容器平台能否良好地支撑企业现有的大规模核心业务仍存顾虑,因此对规模、性能、快速弹性、容灾恢复等一系列关键指标提出了更高的要求。
本次发布的容器多云混合云解决方案2.0版本由CCE、MCP、ASM等若干云服务产品组成,开箱即用,相比1.0版本支持更大的集群管理规模、更快的网络和存储、更高效的运维与监控,可以很好地满足互联网企业核心业务容器化大规模部署的难题,还可以轻松应对业务高峰期的快速扩容,确保业务的高可用。
首先,单集群支持10000节点的管理规模,并将节点扩容能力提升到30秒扩容100虚机,远远领先于同类产品,同时支持百万容器的管理和服务治理、运维监控。
其次,容器存储Everest统一了容器卷的管理,将不同类型存储的创建、删除、查询、迁移、备份等操作接口标准化,极大简化了容器存储的管理和使用;同时,构建了百万IOPS的高性价比的容器存储,在图形渲染、AI计算、基因数据分析、大数据等海量数据读写的场景更具优势。
再次,新一代容器网络Yangtse,在大规模场景下,容器网络发放与接通的速度均取得了跨越式增长,1万容器Port发放只需1分钟,容器网络接通速度小于1秒。
最后,容器监控Glacier支持跨云应用的全景监控,支持社区的原生Prometheus生态,结合集群联邦与策略引擎,实现了30秒应用跨云的自动弹性。
熟悉技术的人都知道,Kubernetes源自古希腊语,译为舵手,而Istio的logo则是一个小帆船,华为云期望弥合云原生落地过程中的鸿沟,将开源领域的小船变成满足企业级生产的Kubernetes大型军舰(Vessel),驶向大型企业,推动开源生态的快速发展。华为云将依托更大规模的集群管理能力、更快的容器网络和存储、更完善的监控管理能力,满足企业核心业务上云的综合诉求,从试水业务容器化创新,进入核心业务容器化的深水区,助推企业容器化发展进入了新时代。
围绕三大领域破解高性能批量计算痛点
同期发布的全新华为云高性能批量计算解决方案,将去年发布的基因容器服务、AI容器服务以及新的大数据容器服务统一到Volcano高性能容器批量计算平台之上,具备智能和异构两大特性,北向支持多种AI计算框架,南向支持Ascend+Kunpeng的多元异构算力——更快的算力获取,更高性能的网络、存储,能够为大数据、基因及泛互联网行业等海量数据分析场景提供高性能的批量计算能力。
大数据容器
基于存算分离的容器化大数据解决方案,大数据分析效率提升40%,弥补了当前主流容器大数据平台的不足,在调度、任务管理、功能等方面,可以匹敌甚至优于传统的Spark on Yarn方案。Yarn是Hadoop生态系统中的核心调度引擎,Yarn的文件系统HDFS采用存算一体化架构,计算和存储的比例固定,计算资源的利用率一般不到50%,显然不符合实际的业务需求。
伴随云计算和大数据的快速发展,越来越多的大数据公司开始将其大数据业务运行在Kubernetes上,在这一趋势下,如何让Kubernetes支撑Spark上各种面向大数据的交易机制,正是Volcano解决的问题。大数据容器采用存算分离架构,通过OBS使存储和计算资源可以根据业务需要,各自进行弹性扩展和灵活配置,从而使资源匹配更精准、合理,大幅提升了大数据集群资源的利用率。测试数据表明,大数据容器的分析效率可以提升40%,综合成本可降低50% 。
基因容器
在去年的HC大会上,华为云发布了基因容器服务GCS,提供大规模的算力资源池,大幅提升了基因数据的分析效率,助力华大、希望组等国内头部企业破解了基因测序成本高、效率低、门槛高的三大难题。据悉,目前国内基因行业Top10的企业中,已有5家采用了华为云的基因容器服务。
与之前相比,本次发布的基因容器在功能和性能上均有重大升级, 30X的全基因组测序(WGS)场景,测试效率与传统方案相比提升10倍。基因容器解决方案新增了以容器方式实现生信领域广泛使用的SGE集群管理能力,使得传统线下生信分析环境可以无缝迁移上云,获得轻量级容器技术带来的诸多益处。此外,基因容器GCS现已支持世界先进生物实验室发布的流程引擎Cromwell,开发者只需提供标准的WDL流程,就可以在遵从GA4GH(全球基因组学与健康联盟)统一标准的前提下,以业界一致的对话方式,按需按秒的进行WDL基因数据分析。
AI容器
AI容器原生支持10种以上业界主流的深度学习框架,除各大社区中的开源框架外,还包含华为全场景AI计算框架MindSpore等新型框架,AI模板训练效率提升3至5倍。与去年发布的AI容器相比,采用Volcano调度引擎的新版AI容器解决方案,提升了对“鲲鹏+昇腾+X86+GPU”的混合调度能力,任务调度性能与业界相比高出10倍。除此之外,华为云AI容器在计算性能及资源利用率等方面均有大幅提升,性价比提升30%以上。
据悉,在斯坦福大学今年5月发布的DAWNBench榜单中,华为云ModelArts以2分43秒的成绩在图像识别训练中夺魁,其背后就离不开Volcano的算力支撑。
在AI计算场景,AI容器在图像识别、自然语言处理、智能监控、自动驾驶,以及近期大热的AI换脸等主流场景均有丰富实践。实际上,不同客户在不同场景下的核心诉求也各有不同,既有面向大规模分布式训练的高性能需求,也有简化开发调试工作的需求,还有更优性价比方面的需求。方璞表示,华为云AI容器解决方案将在实践中不断优化,逐步提升在性能、性价比、开放性、使用体验等方面的综合能力,满足各类用户的差异化需求。
展望未来
随着云计算技术的飞速发展,以云原生应用、数据和AI为驱动的Cloud2.0时代悄然来临,云原生在互联网领域的应用逐渐进入深水区,云原生开源技术已无法满足企业级客户在生产业务上的综合诉求,这也是促进容器解决方案不断提升集群规模、监控、网络、存储等性能的主要驱动力。
数字化转型大潮下,金融、汽车、政务等传统行业的大型企业正在积极拥抱云原生,运用人工智能、大数据、云计算等技术向泛互联网的方向转型,随着5G的到来,边云协同的趋势下,云原生技术必将在泛互联网领域以及传统行业加速落地。
接下来,华为云将结合不同行业用户的诉求,在实际项目交付的过程中,通过持续迭代推出具有高价值的产品,让容器解决方案能够更贴合实际场景,帮助用户破解行业中的业务难题。另一方面,华为云将继续加强与CNCF社区间的合作,进一步探索云原生的新趋势,通过在业务领域进行创新尝试,继续为云原生在下一阶段的发展指引方向。
以上是关于华为云发布全新容器技术 加速云原生技术商用进程的主要内容,如果未能解决你的问题,请参考以下文章