「分布式存储」系列分享-海量视频存储方案

Posted 2021-04-02 坤前服务器

随着智慧交通、智慧园区、天网工程、雪亮工程等项目的推进和实施，城市监控产生的数据量突破PB级，并有向EB级甚至ZB级发展的趋势。视频监控系统也朝着“数字化、网络化、高清化、智能化”的方向不断前进，海量的视频数据与云计算、云存储、大数据、人工智能的结合越发紧密，对视频监控数据存储系统也提出了更高的要求。

01

大数据时代的分布式存储架构

随着大数据时代的到来以及互联网应用的飞速发展，各种非结构化数据（如图片、视频、音频等）呈几何数级增长。海量的非结构化数据要发挥它的价值，首先要存储下来，这需要提供低成本、高可扩展的存储能力，而传统存储系统面临诸多困境：

1.大量重复建设，投资和维护成本高；

2.新业务部署成本高、周期长；

3.设备日常运行负荷不均，平均利用率低。

采用分布式存储系统将解决以上缺陷，并具有以下优势：

1.高资源利用率和低能耗；

2.高效的存储管理，支持弹性扩展；

3.通过分级存储实现数据的高速存储和读取；

4.通过异地容灾备份，保障数据安全和可靠。

分布式存储系统架构

分布式存储系统架构由存储资源层、软件管理层和业务应用层三部分组成。

存储资源层：分布式存储系统所基于的硬件资源，采用去中心化的架构设计，物理上可以分布在不同地域，硬件上可以采用不同架构的存储服务器，通过软硬件解耦实现无限量可扩展。

软件管理层：分布式存储系统所使用的软件资源，通过软件虚拟化，将存储资源层中的海量物理存储空间，虚拟化成统一的业务数据存储资源池和系统数据存储资源池，提供分级存储、存储业务管理、容灾备份等功能。

业务应用层：包括数字影像、媒资、视频监控、云盘、云备份等各类云存储应用系统。应用于电信运营存储资源池、智慧城市视频监控、媒资云存储、智慧医疗影像存储等各类存储应用场景。

02

视频监控的分布式存储方案

区别于文件或数据表等结构化数据，视频监控具有数据量大、写密集、码率恒定、内部结构复杂等特性，传统的存储方式很难满足需求，存储系统架构上的变革不可避免。对于视频监控存储而言，需要满足以下特征：

1.对数据吞吐量要求较高；

2.存储要支持灵活、在线扩展能力；

3.需要丰富的冗余策略，保证视频数据安全；

4.以较低成本实现海量数据的高性能存储，同时有效降低维护成本。

为有效解决视频监控数据的保存和管理问题，坤前推出了分布式存储方案，基于软件定义存储技术，具有领先的架构优势，不仅仅能够给用户提供统一的数据访问路径，还具有超大容量、性能横向扩展、多节点容错、高性能、易部署、易管理等诸多特点，能够持续稳定地提供服务，保证数据实时高效地写入和长期有效存储，全面满足用户复杂的业务需要。

视频监控分布式存储平台

平台主要由四部分组成：前端监控资源、存储管理平台、分布式存储和web客户端。运维平台服务器通过对接分布式存储集群的管理机，实现集群的统一监控和存储资源管理。分布式存储集群根据业务需求就近部署在各地节点，实现视频资源的就近存储。并根据该区域监控需求，将视频分发服务器一同下沉部署。

当分布式存储存入监控视频数据，利用硬件处理能力优势与视频大数据挖掘算法相结合，就能为监控视频用户提供更好的视频大数据挖掘服务。这为后续的监控视频存储能力对外开放、视频大数据挖掘能力开放等产品新功能开发也打下基础。 

方案优势

动态增加节点

性能和容量同步扩展

统一命名空间

性能叠加/负载平衡

全链路冗余，多维度提升业务连续性

高可用性

支持异地容灾技术

易部署、易维护

管理便捷

03

海量存储搭配丰富拓展

坤前存储服务器系列

坤前KI4236MS服务器是一款基于英特尔®至强®可扩展系列处理器，及澜起科技津逮®系列处理器平台设计开发的4U双路机架式存储服务器。在4U空间中实现了最大576TB海量存储空间，将存储性能、可拓展性、易维护性完美融合。支持 36 个 3.5 寸热插拔存储盘位，可选后置 2 个 2.5 寸热插拔硬盘位，高集成度的设计在有限空间内带来强劲的性能表现足以支撑关键任务的运行。 

应用场景：企业信息化、云计算、分布式存储、WEB 搜索、文件服务、VOD、中型数据库、IDC/ISP/ICP/ASP、网络及信息运营商的业务应用等。

坤前服务器｜深度定制 + “管家式”服务

坤前拥有丰富的服务器定制经验，多年来为近千家行业客户提供过差异化的全流程服务器定制服务。公司产品已经广泛应用于人工智能、互联网、能源电力、智能制造、软件、科研、教育、安防、政府、公安等行业。而业界首创的“管家式”服务理念，更是让坤前在服务器行业脱颖而出，从市场到销售，从售前、售中到售后，从生产、部署到调优、运维，在每个环节都有专属的“管家”团队为客户提供服务。

☎️欢迎致电400-025-7877咨询