一千余万景卫星数据，兼容深度学习框架，看曙光如何管理“国家宝藏”

Posted 2021-04-29 中科曙光

中国资源卫星应用中心是国家三大卫星应用中心之一，承担着我国陆地卫星数据处理、存档、分发和服务设施建设与卫星在轨运行工作，可谓“国家宝藏”的管理者。多年来，应用中心累计向全国用户提供了一千余万景卫星数据产品，广泛应用于我国农业、林业、水利、国土资源、城市规划、环境保护、灾害监测和国防建设等众多领域，创造了巨大的社会效益和经济效益。

这些对地观测卫星数据主要特点为高空间分辨率、高光谱分辨率、高时间分辨率、影像条带宽、立体成像能力和多种成像模式等。随着不同平台搭载的观测传感器越来越多使得中心可以获得近乎连续高维度的数据。这种信息采集的爆炸式增长为遥感数据的存储、处理和分析带来了巨大挑战，中心的传统IT设备和系统已经无法满足生产需求。

针对用户提出的存储系统需要具备全分布式高密度、高可靠、易扩展、易管理等特性，同时具备权限控制及多类型存储访问接口等功能，曙光公司为用户推荐了曙光完全自主研发的ParaStor云存储系统解决方案。

为中国资源应用中心所提供的ParaStor云存储系统解决方案具有其显著特点：

超高性价比

当前中心积累了不同数据级别、不同分辨率的海量遥感影像数据，同时数据量持续高速增长。据此，ParaStor云存储系统采用通用服务器构建超高密度存储资源池，并基于该硬件资源池构建海量遥感影像数据云存储系统。

该系统采用纠删码技术保障数据安全，同时最大限度提高了存储空间利用率；其在线扩容的特性使得用户可根据遥感影像数据和业务所需动态调整存储资源池，在增加存储节点的同时可获得近乎线性增长的存储性能和网络带宽，满足中心10+PB乃至数百PB的存储需求。

自动分级 数据生命周期管理

利用差异化的分级存储技术解决多源、海量、异构遥感影像数据的组织和管理，依据遥感影像数据的产品链关系和生命周期特征，建立动态有序、合理高效的存储迁移策略，实现在线，近线、离线数据的自动迁移，并可在多个维度制定数据分级和迁移策略。

安全可靠

磁盘巡检任务可及时发现数据的静默损坏和磁盘坏道，及时修复损坏数据盘上的遥感数据，保证遥感影像存取、处理和分析业务不受影响；采用N+M纠错码容错机制保证遥感数据安全，防止因磁盘损坏或节点宕机造成的影像数据丢失；网络通道采用多通道负载均衡和冗余设计模式，单链路故障不影响遥感影像云存储系统的正常使用。

对接Hadoop系统 深度学习框架

ParaStor云存储系统提供HDFS接口，兼容中心深度学习框架，可满足后续利用大数据、深度学习等技术进行大数据深度挖掘业务的需求。

简单易使用

ParaStor云存储管理系统提供健全的软硬设备管理功能，通过Web界面对ParaStor云存储系统进行统一管理和维护，所有操作、配置、浏览通过直观易用的图形化界面完成。同时，通过管理界面可以监控存储系统的性能与运行状况，强大的故障提醒和报表分析更加便于对系统集群的性能监控和故障分析。

国家资源管理无小事，陆地资源数据管理及利用更是重中之重。ParaStor云存储系统完美解决了应用中心信息采集爆炸式增长带来的巨大挑战。同时，中心也基于ParaStor云存储、Hadoop大数据处理系统以及深度学习等技术对多源载荷遥感数据进行存储、处理和分析，建立了支持高效数据存储访问的遥感数据存储模型和基于分布式并行计算、内存计算等编程模型的通用遥感算法并行化计算模型，设计并实现了高性能存储算法和并行化图像处理算法，为实现基于云平台服务架构的大数据多源载荷遥感数据处理与综合应用奠定了基础。