混合云存储点燃万亿自动驾驶市场，加速产品落地

Posted 2022-08-04 YRCloudFile

导语：当前，自动驾驶已经在国内部分地区商业化试点，而一些造车新势力的量产车型，也普遍推出了自动辅助驾驶功能。随着自动驾驶的不断发展，自动驾驶背后的技术也开始备受关注。

万亿自动驾驶背后，混合云存储鼎力相助

近年，自动化驾驶产品和服务日趋成熟，自动驾驶市场也在快速发展。据市场研究机构 Guidehouse Insights 预计，到 2032 年，全球自动驾驶卡车和客车市场规模有望增长到 120 万辆，其全球市场份额预计将超过 19%。之前，麦肯锡也曾公布一份研究报告指出，如果自动驾驶的前景在中国铺展开来，这一产业的收益规模将达到数万亿美元。

在万亿自动驾驶的背后，少不了车辆上搭载的传感器、摄像头和 AI 等智能设备和技术对其发展的推动力量。其中，在 AI 产品迭代过程里，参与的数据量决定了 AI 准确性的高低，也决定算法是否能更加成熟。如果说，算法是 AI 产品的风帆，那么承载算法数据的存储就是船舰。

算法数据量从小到大，IT 建设中存储规模也在逐步扩大，从开始的依靠单独硬盘到阵列，再到集群存储，发展到现在的分布式存储，私有云、公有云到如今混合云的运用，逐步实现云上云下资源联动的模式。

目前国内 AI 行业大多数是在本地建设数据中心，将核心业务和数据留存在本地进行生产计算，算法迭代中预处理、训练、仿真等环节基本是在本地完成，云端作为业务弹性扩充的方案使用，这也促使了 AI 公司需要具备一定的 IT 建设能力和运维能力。由于 AI 属于新兴行业，不同于其他有多年 IT 经验的行业，容易导致在建设上出现水平层次不同的情况。例如，有使用部门级 NAS 存储作为生产存储，也有购买商业级存储，亦有基于开源架构进行尝试的 AI 企业，使得整体存储建设良莠不齐。

今天，我们将基于一家在环境感知、决策规划等智能驾驶关键领域拥有核心技术，主要提供 L2+ 智能驾驶方案及衍生数据产品和服务的智能驾驶技术研发与应用企业，结合当前在 AI 行业自动驾驶场景下，生产存储方案设计和行业亮点功能应用的解决方案——如何利用跨云异构数据整合能力推动业务发展。

亟需高可用存储方案，紧密贴合业务场景

智能驾驶技术研发与应用对数据存储、处理及安全合规提出了更高的要求，存储方案优化刻不容缓，但是也面临多方难题：

1、在不同的业务阶段，数据流动时间长

当数据规模达到数十 TB 以后，在业务流程中，数据在每个环节都需要经历传统的拷贝方式，导致业务等待时间长，严重阻碍业务快速发展。

2、混合数据性能优化难

不同场景下，数据情况不一样，性能难以满足训练要求。比如，在训练环节和仿真环节中，传统存储性能难以满足业务要求；在标注环节和训练环节中，小文件和大文件往往很难共存；亦或者，IOPS、元数据处理性能跟不上业务需求等等。

3、AI 行业发展迅速，存储扩展能力跟不上节奏

随着企业发展到一定程度，传统服务器共享模式或者单机 NAS 架构存储难以跟上业务成长，导致数据规模压力、存储扩展压力、业务并发压力与日俱增。

4、IT 基础建设要贴合应用场景展开

伴随着公有云资源和私有云资源的普及，业务发展趋向更高效率、灵活调度、更合理的成本支出，使得私有云数据与公有云数据打通成为下一个业务发展模式。同时，企业也需要一款能减少数据流转时间成本、支撑训练环节、仿真环节高性能计算、解决存储可扩展性问题的存储平台，满足企业多方面需求。

方案改造：构建业务驱动型的一站式存储解决方案

在深入了解该企业实际业务以后，焱融科技结合了大量的自动化驾驶存储项目实践经验，为本次项目制定跨云数据整合方案。

本次方案主旨是改造和提升现有生产存储架构，通过 YRCloudFile 分布式文件存储系统承载业务数据，让依赖传统 NAS 的传统架构发展为分布式架构，从根本上解决数据扩展问题和性能优化问题。

一方面，YRCloudFile 提供了并行客户端协议应用，让企业性能实现突破网关限制；另一方面，YRCloudFile 区别于其他厂商的存储方案，采用了元数据和数据分离管理方式，使得其在性能优化和扩展上得到了质的改变。

“打通任督二脉”，一套存储支撑起所有

从整体业务逻辑设计，YRCloudFile 实现将原本各个业务阶段的存储需求整合为一，打通了预处理、标注、训练、仿真各个环节之间的壁垒，省去了大量人工拷贝数据的时间，提升整体业务效率。

存储弹性扩展，支撑业务快速增长

根据客户业务分析，规划存储年数据量成长为 200%-300%，所以存储扩展性也需满足快速大容量高性能扩展，以匹配业务发展要求。在 YRCloudFile 高扩展的特性支撑下，最大可扩展至 4096 个存储节点，容量足以支撑所有业务要求。

混合业务数据治理

YRCloudFile 经过长期实践磨砺，具备在大文件和小文件混合场景下的优秀性能表现和扩展能力，其中元数据和实体数据所采用分离路径的技术，使得数据并发能力和元数据操作能力具有非常高的性能，尤其是在对存储性能要求最高的训练环节中，效果显著。

“以点到面”，建立业务驱动型业务模型

在满足本地数据中心的三个核心诉求以外，焱融科技结合了客户应用中在公有云有部分训练业务要求，以及利用 YRCloudFile 所具备的 DataLoad 功能实现跨云数据整合，将需要短时快速的训练任务放到云端，以此补足本地 GPU 算力不足问题。

另外，训练数据由云端部署的 YRCloudFile 文件系统接受业务 AI 算法模型指令远程调取本地存储实现，可根据训练规模调整调取策略，实现“业务驱动数据”的工作模式，当训练完毕后，释放资源即可，实现资源灵活控制。

除此之外，DataLoad 还可以实现本地素材数据和云端计算互通，由“传统人工搬运数据”演化为“业务驱动数据”的生产模式，实现业务精确化和高效率的转变，整体平台建设改变了传统存储建设概念。

YRCloudFile 打造智驾存储架构“最硬核”的力量支撑

本次项目之初，该智能驾驶技术研发企业难以决定存储架构，在 AI 业务逻辑清晰下，IT 基础建设却采用传统的单机 NAS 产品架构，且各个业务环节之间的存储为独立部署，互相之间的数据通路只能靠人工拷贝的方式，使得生产过程中出现拷贝时效差，引起业务断档。同时，由于传统单机 NAS 性能和支持的并发有限，还会经常出现存储 IO 堵塞而导致的计算 GPU 利用率不高的问题。

• 保障业务连续性，提升业务整体效率：通过 YRCloudFile，不仅解决了以前存储性能不足的问题，而且达到了业务数据智能流动的效果，有效保障业务不断层，将整体业务效率提升了 220%；
• 降低成本投入和运维难度：YRCloudFile 为企业提供全生命周期数据管理，减轻了运维人员的工作压力，为数据管理提供了良好的基础；
• 整合公有云资源，云上云下数据联动：YRCloudFile 实现混合云数据联动，让业务决定数据流向，数据使用更加精确化，为未来业务快速发展奠定了坚实的底层存储支撑。

对于 AI 自动化驾驶场景来说，整个行业仍处于探索实践阶段，业内采用商用单机 NAS 的方式也比较普遍，但是经过长期的生产实践后会发现，小规模单机存储搭配自动化驾驶数据快速增长的场景并不合适。同时，由于商用单机 NAS 的局限性，极易出现业务发展受到限制的情况，导致出现业务并发性能不足、人工效率低、运维困难等问题。焱融科技深耕自动化驾驶行业多年，拥有丰富的自动化驾驶存储解决方案，能够定向应用于自动化驾驶场景，提供丰富的文件存储服务，不仅能兼顾高性能、可能性和易用性，更能按照业务特点去优化存储，成为“最懂自动化驾驶的存储”。