分布式到云原生，自研到开源——青云科技QingStor 的八年进阶之旅

Posted 2021-08-13 ICT产业观察

点击蓝字   关注我们

当前，数据成为企业核心生产要素，数据的存储、管理、迭代、应用都变得愈发重要。 尤其是随着企业“云化”和数字化转型的不断深入，越来越多的企业基于云原生的技术、架构和服务来构建、管理应用，充分利用云的优势来助力业务创新，而存储系统一直以来都是基础设施软件中的核心之一。

作为“混合云第一股”青云科技业务成长的新引擎，QingStor是青云科技历经八年时间，全栈自主设计、自主研发的分布式存储产品家族。 青云科技存储平台总监王煜表示，QingStor整个产品愿景是提供云原生时代的全栈存储服务，驱动数据引领业务创新。

青云科技QingStor存储平台总监王煜

全面拥抱云原生，重磅推出QingStor NeonIO & HydroFS

“随着云原生技术在企业的落地，未来会有越来越多的企业应用负载从原来的虚拟化平台和云平台迁移到容器平台上，事实上这对容器平台底层的存储能力提出更高的要求。”王煜表示，“容器平台存储有非常丰富的解决方案，大致分为三大类：一是传统存储，二是分布式存储，三是容器存储或者云原生存储。”

在云原生架构下，大部分业务系统不会处理数据存储的逻辑，而是尽可能将数据存储和处理能力交给数据库来完成。云原生数据库也采用了“存算分离”的架构，这为应用部署提供了巨大的灵活性。比如云原生化的数据库服务通过存储层实现快速扩容、数据保护等，满足上层应用的需求。

正是看到了云原生的优势，青云科技QingStor围绕云原生进行了广泛的布局。在今年CIC云计算峰会上正式发布QingStor存储产品家族里一位全新成员NeonIO。云原生块存储QingStor NeonIO是为云原生应用量身打造的，其具有全面兼容主流容器平台、全栈存储组件容器化、Operator自动化部署和扩容、最大化使用K8s集群管理能力等特点，具有更高性能和可靠性，能为容器平台提供灵活、轻量、高效的存储能力，适用于DevOps、云原生数据库等场景。

“NeonIO并非完全意义上的全新产品，其在架构设计上汲取了NeonSAN的优势，以及经历了多年企业生产环境验证验证，能够充分保障产品的高性能、高可靠性。” 王煜介绍称，“NeonIO继承了NeonSAN短IO路径的优势，实现从逻辑上的卷到物理硬盘的直接映射，中间不存在本地文件系统的额外开销。”

王煜认为，优秀的云原生存储除了通过CSI插件的方式跟容器平台对接，云原生存储本身的架构设计也应该尽量符合云原生架构的设计理念，所以NeonIO在设计的时候，把全栈存储的组件都进行了容器化，可以在K8s平台上进行部署，真正做到平台无关，让NeonIO完美地运行在国产的操作系统以及ARM架构平台之上，并且它能实现和云原生应用融合部署和运行。

除此之外，QingStor还正式发布多年前内部孵化的全新云原生分布式文件系统HydroFS。HydroFS通过容器平台的CSI插件可以为云原生应用提供全场景的存储服务，覆盖云原生全场景的读写模式，并且HydroFS本身也可以在K8s上进行部署，能够实现与K8s上其他原生应用统一运维和管理。“Hydro这个单词的英文本意是水力工程、水力发电的意思，如果把企业数据比作海洋或者湖泊的话，那我们希望HydroFS能真正成为企业数据的基础设施，帮助企业更好地落地存储和管理数据，最大化地发掘企业数据的价值。”王煜如是说。

值得一提的是，HydroFS作为一个领先架构的全栈自研分布式文件系统，本身可以脱离QingStor本身的企业级产品独立安装部署。王煜强调，HydroFS未来将成为企业级分布式存储QingStor的全新存储引擎，同时全面开源，支持用户独立部署。

拥抱开源，打造跨多云数据存储服务

回顾QingStor的历史，竟然已经有了一个近十年的技术积累。2012年到2016年期间，QingStor分布式存储技术主要是应用在公有云上，2016年青云科技第一次将公有云上的技术移植到私有云上，完成了产品化的工作，陆续推出QingStor对象存储、块存储（NeonSAN）、文件存储、融合存储。

尽管存储是一个技术门槛高的细分领域，但QingStor一直以来都坚持在底层技术采用自主设计、自主研发的路线。 而谈及选择自研道路的原因，王煜表示，青云科技在最初架构设计的时候，调研了很多市面上常见的开源分布式存储系统，如Ceph、HDFS、GlusterFS等，最终发现没有一款能真正满足企业级严肃场景中数据存储的需求。同时，通过底层存储技术的自研，可以真正做到从底层架构层面进行创新，从而更快地满足客户的新需求。这也就坚定了QingStor走完全自研的这条路线。

艰难的自研之路让QingStor打造了一条完整的，富有竞争力的分布式存储产品线，并已全面兼容业内主流国产化平台。如今，QingStor已是企业数字化转型、拥抱云原生技术最好的存储搭档。 基于对自身技术的自信和更好的产品迭代需求，QingStor将全面拥抱开源社区，希望通过开源社区拉近产品与开发者之间的距离，从而更好、更快的迭代产品，更希望QingStor的开源项目能够对接更贴近用户的软件生态、进而深度赋能更广泛的应用场景。

为实现上述目标，QingStor制定了详细的开源计划。据王煜介绍，首先，要全部开源工具，QingStor在跨云数据迁移、对象存储管理等领域开源了qsctl、qscamel、qsftpd等一系列相关工具；其次，QingStor将在今年第三季度将云原生分布式文件系统HydroFS全面开源；最后，QingStor将尝试建立并维护一个中立的开源存储生态。

自2021年开始，QingStor牵头建立了一个厂商中立的开源存储社区——BeyondStorage，这是一个专注于提供跨云数据服务的开源社区，社区现有40余个开源项目。 在整个社区的生态架构层面，QingStor首先实现了一个厂商中立的存储开发库——go-Storage，对下可通过插件机制对接来自于不同厂商的云存储服务，对上则提供了一个完全统一的应用开发接口，所以通过go-Storage进行开发的应用都可以无缝对接下层的存储服务。

QingStor V4全新升级，驱动数据引领业务创新

QingStor经过过去八年、三个大版本的迭代，今年正式开始进入第四个大版本。 王煜表示，QingStor块存储、对象存储、文件存储三款主力产品全面升级v4.0，致力于打造更大规模、更高性能、功能丰富的企业级分布式存储。

“NeonSAN经过过去3个大版本的迭代，产品自身的成熟度其实已经达到一定水平，在规划4.0版本的时候，我们把工作重点放在了超大规模集群和跨站点容灾能力的提升上。”王煜介绍，QingStor NeonSAN v4.0包含了大规模集群下的控制平面分区、数据自动均衡的机制、业务灾备上的优化、快照和增量备份功能的优化、NVMe-oF协议优化使性能进一步提升、监控功能的增强实现卷的性能监控等。

同时，QingStor对象存储v4.0的升级包括了使用Rust语言优化IO路径、以及实现了Bucket region级别容灾能力、Bucket user级别QoS流控、增加WORM功能、空间回收效率大幅提升、新增归档存储类型等。

此外，QingStor文件存储v4.0则全新升级存储引擎HydroFS，在全新的底层架构下实现了诸多的存储访问特性。

作为一家独立的云服务商，青云科技的上市本身也证明了市场对于国内云计算发展空间的认可。QingStor保持每年一次大更新的节奏也足以证明青云科技对存储业务的重视，厚积薄发，相信对于这家以自主创新、以混合云为亮点的企业来说，云原生存储的发布只是起点，未来将不断创新，挖掘存储市场潜力。

王煜最后表示，青云科技将持续加快布局云原生，全栈升级云原生产品，结合千行百业云原生技术实践，加速企业云原生落地，让企业IT能够更好地利用云上的各种设施和服务，从而在效率和成本上更具竞争力，进一步构建业务智能。

“ICT产业观察”公众账号提供：

5G、云计算、AI、芯片、终端行业

最新资讯  政策解读  产品分析  专家观点

订阅号搜索：“ICT_guancha ”

联系请加微信：18306810672