「NCS 10000，非一般的分布式存储」： 超高并发 • 助力新疆地球物理研究所“用数据找油”！

Posted 2021-04-02 同有科技

新疆地球物理研究所（全称：新疆油田公司勘探开发研究院地球物理研究所），是中国西北地区最具影响力的地震资料处理解释中心，配有世界先进的池震资料处理解释系统和地震与测井数据管理系统，能通过二维、三维地震资料的处理和准确解释以及相关研究，提高石油勘探工作的准确度，助力国家“用数据快速找油”。

 

新疆地球物理研究所拥有由上千台并行计算节点组成的计算机集群、数百套工作站、以及万兆、25Gb、100Gb交换网络，物探技术处于世界领先水平。

但是，随着石油地震勘探技术的发展，使得外业采集数据越来越大，特别是“两宽一高”采集模式越来越广泛地用于地震勘探当中后，地震勘探数据处理已经步入大数据处理模式。数据量倍增以及计算复杂度几何倍数的增长，对地震勘探处理工作中使用的存储系统提出了新的要求。

地震勘探单一项目几十TB的数据量以及数以百计的计算节点，需要同时长时间访问同一个存储系统和同一文件，传统的SAN和NAS存储架构已经无法满足这样海量数据的密集型I/O及海量并发访问的需求。

同有科技深耕存储三十余年，依托在存储架构、存储管理软件及存储核心算法等方面的核心技术，自主研发推出超高并发即可支持“数千个超高并发访问+上万个超高并发节点+百亿级超高并发文件”的NCS 10000分布式存储系统，在业界同类产品中超高并发能力可谓“更上一层楼”。

• 支持“数千个”超高并发访问：并发访问同一目录或文件的客户端支持数量，最高能达到数千个。（业界同类产品几乎很难做到）
• 支持“上万个”超高并发节点：支持的客户端加存储节点的总数量，最多能扩展至16384个。（业界同类产品多为1024或4096个）
• 支持“百亿级”超高并发文件：单一文件系统可以有效支持百亿级文件规模。（支持的文件规模处于业界领先水平）

针对地物所的需求，同有科技为地物所部署实施了NCS 10000分布式存储系统解决方案。首先，同有科技采用分布式架构，配置4台元数据节点、27台存储节点，采取元数据节点与存储节点分离模式，通过元数据网络独享，及优化的元数据调度算法，使整个系统具有更好的扩展性及数据访问性能。

其次，同有科技部署了2套具有整合存储功能的NCS 10000分布式云网关节点，利用NCS 10000的资源整合功能，通过NCS10000数据云网关，将现有的存储容量整合到NCS 10000的资源池中，实现整体存储资源池化，保证存储资产延续。

最后，同有科技采用高速网进行数据交互，还增加了智能存储服务器，整个架构可以支撑用户所有业务统一访问同一套存储系统。

本次部署实施的NCS 10000分布式存储系统解决方案，可以将I/O性能线性提高到几十个GB或者上百个GB的聚合带宽，实现每秒数十万个的文件查询效率，大幅度减少计算任务的数据IO 时间，提高系统的整体效率。本方案完全满足地物所池震资料处理解释等专业系统“数据找油”工作中，多达近500台的高性能运转服务器同时访问后端存储系统中同一目录或文件的超高并发需求。  

除了“超高并发访问”外，NCS 10000还具备“超高并发节点”、“超高并发文件规模”能力，支持最大扩展至16384个客户端加节点，支持最高管理百亿级文件，最大能实现EB级的存储容量，为新疆地球物理研究所存储系统未来的扩展，提供强大支撑。