什么数据存储软件的兼容性比较高？

Posted 2023-05-15

1. Ceph
Ceph是一个强大的存储系统，它在同一个系统中同时提供了对象，块（通过RBD）和文件存储。无论您是希望在虚拟机中使用块设备，还是将非结构化数据存储在对象存储中，Ceph都可以在一个平台上提供所有功能，并且还能获得出色的灵活性。 Ceph中的所有内容都以对象的形式存储，不管原始的数据类型是什么，RADOS（reliable autonomic distributed object store）都会把它们当做对象来进行存储。

RADOS层确保数据始终保持一致状态并且可靠。Ceph会通过数据复制，故障检测和恢复，以及跨群集节点进行数据迁移和重新平衡来实现数据一致性。 Ceph提供了一个符合POSIX的网络文件系统（CephFS），旨在实现高性能，大数据存储以及与传统应用程序的最大兼容。Ceph可以通过各种编程语言或者radosgw（RGW）实现无缝的访问对象存储，（RGW）这是一种REST接口，它与为S3和Swift编写的应用程序兼容。另一方面，Ceph的RADOS块设备（RBD）可以访问在整个存储集群中条带化和复制的块设备映像。

Ceph的特性
独立、开放和统一的平台：将块，对象和文件存储组合到一个平台中，包括最新添加的CephFS

兼容性：您可以使用Ceph 存储对外提供最兼容Amazon Web Services（AWS）S3的对象存储。

精简配置模式：分配存储空间时，只是虚拟分配容量，在跟进使用情况占用实际磁盘空间。这种模式提供了更多的灵活性和磁盘空间利用率。

副本：在Ceph Storage中，所有存储的数据都会自动从一个节点复制到多个其他节点。默认任何时间群集中的都有三份数据。

自我修复：Ceph Monitors会不断监控你的数据集。一旦出现一个副本丢失，Ceph会自动生成一个新副本，以确保始终有三份副本。

高可用：在Ceph Storage中，所有存储的数据会自动从一个节点复制到多个其他的节点。这意味着，任意节点中的数据集被破坏或被意外删除，在其他节点上都有超过两个以上副本可用，保证您的数据具有很高的可用性。

Ceph很强大：您的集群可以用于任何场景。无论您希望存储非结构化数据或为数据提供块存储或提供文件系统，或者希望您的应用程序直接通过librados使用您的存储，而这些都已经集成在一个Ceph平台上了。

可伸缩性：C 参考技术A 兼容性高的我觉得XSKY星辰天合的XEDP，他能提供标准开发接口。
这在我们公司的云基础设施和核心业务数据存储上都有不错的表现。本回答被提问者采纳 参考技术B 目前，商品化的数据库管理系统以关系型数据库为主导产品，技术比较成熟。面向对象的数据库管理系统虽然技术先进，数据库易于开发、维护，但尚未有成熟的产品。国际国内的主导关系型数据库管理系统有Oracle、Sybase、INFORMIX和INGRES。这些产品都支持多平台，如 UNIX、VMS、Windows，但支持的程度不一样。IBM的DB2也是成熟的关系型数据库。但是，DB2是内嵌于IBM的AS/400系列机中，只支持OS/400操作系统。
1.mysql
MySQL是最受欢迎的开源SQL数据库管理系统，它由 MySQL AB开发、发布和支持。MySQL AB是一家基于MySQL开发人员的商业公司，它是一家使用了一种成功的商业模式来结合开源价值和方法论的第二代开源公司。MySQL是MySQL AB的注册商标。
MySQL是一个快速的、多线程、多用户和健壮的SQL数据库服务器。MySQL服务器支持关键任务、重负载生产系统的使用，也可以将它嵌入到一个大配置(mass- deployed)的软件中去。
与其他数据库管理系统相比，MySQL具有以下优势：
(1)MySQL是一个关系数据库管理系统。
(2)MySQL是开源的。
(3)MySQL服务器是一个快速的、可靠的和易于使用的数据库服务器。
(4)MySQL服务器工作在客户/服务器或嵌入系统中。 参考技术C 转载自IT168
作者：浪潮存储 叶毓睿
简而言之，存储如何以更高效、更低成本的方式，围绕着数据的产生、存放、保护、优化、利用，直至数据成为资产，满足数据对存储提出的要求。
相关的关键词有十个：分布式存储、云存储、容器存储、全闪存、AI存储、区块链存储、边缘存储、量子存储、生物存储或基因存储等等。
鉴往事
我们先回顾一下历史，过去十年（2010-2019）存储发生了什么事件？
2010年：EMC收购Isilon，22.5亿美元 ;
2010年：惠普收购3Par，23.5亿美元 ;
2011年：戴尔收购Compellent，9.6亿美元 ;
2011年：希捷收购三星硬盘，13.75亿美元 ;
2011年：西部数据收购日立GST，48亿美元 ;
2012年：VMware提出SDDC（软件定义数据中心）和SDS（软件定义存储）的概念，之后推出SDS产品 – Virtual SAN的预览版 ;
2013年：Avago收购LSI，66亿美元 ;
2014年：闪迪收购Fusion-io，11亿美元 ;
2015年：戴尔收购EMC，630亿美元 ;
2015年：西部数据收购闪迪，160亿美元 ;
2016年：IBM收购对象存储，约13亿美元 ;
2016年：HCI（超融合）概念提出者Nutanix上市；
2016年：博通收购博科，59亿美元 ;
2016年：OpenText收购Dell EMC企业内容部门(包括Documentum等)，16.2亿美元 ;
2017年：HPE收购Nimble Storage，10.9亿美元 ;
2018年：微软收购混合云数据存储公司Avere Systems ;
2019年: AWS收购E8 Storage，估计在5000万美元至6000万美元之间 ;
2019年: 谷歌收购存储企业Elastifile, 2亿美元 ;
2019年: IBM收购 RedHat, 340亿美元，RedHat有两款开源存储产品：Ceph和Gluster。
站在企业存储系统的角度，有几件事值得注意：HCI、SDDC、SDS的相聚出现、戴尔收购EMC、西部数据收购闪迪、HPE收购3Par和Nimble Storage，以及云计算厂商微软、AWS和谷歌的收购。这些事件体现了全球存储发展的几大趋势：分布式、云化、闪存化、智能等。
1、分布式存储
软件定义存储，为云而生。软件定义存储就是将硬件的可操控成分按需求，分阶段的，通过编程接口或者以服务的方式逐步暴露给前端应用，分阶段地满足应用对资源的不同程度、不同方面的灵活调用。软件定义存储其实是一个过程，不是一蹴而就的目标，它分成不同阶段：抽象、池化和自动化。目前，软件定义存储最显著的特征是呈现分布式，根据近年来IDC的报告，软件定义存储按照访问方式，分为三类：分布式块存储、分布式文件存储、分布式对象存储。未来十年，分布式存储的相对市场份额将不断增长，预计将超过集中存储的市场份额，然而两者将长期并存。
戴尔收购的Compellent、HP收购的3Par，实现了块级虚拟化，将硬盘和RAID解耦；VMware Virtual SAN（现命名为vSAN）、Nutanix有别于以往的专用存储，将文件系统软件与服务器解耦，体现了分布式存储征程中的不同阶段
回顾一下Gartner 在2015年7月发布的技术成熟度曲线，彼时处于曲线的最高点，也即阶段二（过高期望的峰值，Peak of Inflated Expectations）。四、五年左右的时间，才被市场广泛认可，但迄今离占据市场主流份额还需一段时间。好消息是，分布式存储发展非常迅猛，远超平均值。
2、云化 （含容器、超融合、混合云）
据报道，全球云存储市场2017年为307亿美元，预计到2022年889.1亿美元，CAGR为23.7%；中国云存储市场2017年规模为88.68亿人民币，同比增长71.8%，2018年同比增长率将上升至72.8%，市场规模为158.5亿元人民币。
Gartner在2019年的报告中显示：到2024年，40%的企业将实施至少一种混合云存储方式，高于2019年的10% 。
上述提到的云存储主要是以AWS S3、EBS、阿里云块存储、OSS为代表的公有云存储。在本篇文章里，云化的概念更广泛，包括了公有云和私有云。
云的特点包括弹性灵活、按需交付、按用付费等，除了众所周知的公有云之外，还要看到私有云。AWS CEO Andy Jessy在AWS 2019 re:Invent大会上分享了如下消息：公有云的总支出只占到总IT支出的3% 。也就是说，全球IT支出总，私有云仍占绝大多数。我曾在2017年看到一篇文章提到：预计到2040年，公有云大约占整个IT开支的1/3和1/2之间。如果真是如此，也就是说即使二十年后，私有云仍占半壁江山。
1）私有云的云化对接
存储如何更好的服务私有云，成为企业级存储的一个重要课题。除了存储自身的池化、自动化之外，向上提供API，方便私有云管理平台按需驱动存储资源的创建、调整、优化甚至回收，将逐渐成为必备配置。云化对接包含两大块，一是对接开源的云管理平台，例如OpenStack的块接口Cinder、文件接口Manila、对象接口Swift和几乎成为标准的AWS S3接口；二是对接商业的云管理平台，首当其冲的是能够被主流Hypervisor识别，如VMware ESXi、Microsoft Hyper-V。国内存储厂商中，浪潮的AS13000在云化对接中做得更齐全。
容器对接也可以视为云化对接的一部分，我们看到越来越多的用户，包括互联网、金融、电信等行业，开始部署容器技术。因此存储支持CSI（Container Storage Interface）接口也将逐渐成为企业级存储的必备配置。
超融合可以视为私有云的一种部署形态，当计算资源池和存储资源池在初次采购以及后续扩容的过程中，计算和存储的比例比较适中，也即，不会出现少量计算资源需要搭配大量存储空间；也不会出现大量计算资源需要搭配很少的存储空间，此时超融合是不错的选择。
2）公私相互渗透
在云计算领域，开始出现To C和To B的融合。
早期公有云的用户主要是一些C端，或者小B的用户，随着云计算的深入和普及，云巨头开始希望吸引大B用户。但是，出于隐私保护、安全性、政府合规、管理、兼容性、惯性、迁移成本等多种因素的考虑，原有大B用户迁移到公有云的进展比预期要缓慢。
因此，云巨头早在几年前就开始通过构建混合云或者私有云的方式来瓜分B端IT市场的大蛋糕。AWS收购E8和推出Outposts，微软收购混合云数据存储公司Avere，阿里云推出混合云存储方案，腾讯云、金山云、京东云也不甘人后。
另外，因为成本、空间、能耗等因素，逐渐有更多用户希望To B的存储厂商，能够支持将历史数据备份或归档到公有云存储上。
3、闪存化
根据IDC 在2019年12月31日的报道：“2019前三个季度，中国企业级全闪存存储阵列市场同比增长超过60%。IDC预测， 2019年全闪存存储市场仍将达到近50%的增长”。
据报道，闪存颗粒价格逐年下降（按照30%～40%的降幅），如下图所示。
国内的长江存储或将加速闪存颗粒下降趋势；
当全闪存相比机械盘价格差距不大时，更多用户愿意为延时缩短而买单（目前和15k转，10k转的机械盘价格相差不多；7.2k转的机械盘当下价格还有一些优势）；
机械硬盘逐渐退化成类似磁带地位的介质。
而且在当前的大背景下，因为机械硬盘的核心技术欠缺的原因，大力发展和推进闪存落地具有重要的意义。国内大的存储厂商中，华为和浪潮都推出了自己的NVMe闪存盘。
闪存化的过程中，必然催生全闪存阵列的发展，其中的相关技术NVMe Over Fabric（简称NVMe-oF）借助RDMA等超低延时的传输协议，可远程访问SSD，解决了下一代数据中心在横向扩展 (Scale-out) 时所遭遇的性能、功能、容量三者之间难以取舍的权衡问题。
4、智能
这里包括两个方面，一是存储的智能化；二是存储如何为智能应用进行优化，也即AI存储应该如何优化。
1）存储智能化
存储智能化所希望达到的就是能够根据业务负载、运维管理等的历史记录，预测未来可能会发生什么，再据此动态地调整存储资源池，做到物尽其用；以及提供预警信息和执行动作，做到防患于未然。然而这个道路非常漫长，因为厂商需要在安全性稳定性和性价比（也即动态调整存储资源）之间做取舍；另外要想取得根据负载自动调整存储，其实不亚于将AI算法植入存储系统之中，难度不小。目前，存储厂商中，做得比较好的有HPE的Infosight和浪潮的InView。
2）AI存储
Gartner报告显示，到2022年，企业高管中将有半数以上会规划AI技术的部署，而这一数字在2018年的时候仅有4% 。
根据IDC数据，2018年上半年，中国AI基础架构市场销售额和出货量分别同比增长176%和129% 。
AI所需存储，可以分为准备、训练、推理和归档等阶段，每个阶段的IO特征不一样，对于存储的要求也不一样。例如，在推理阶段，IO的特征是读写混合，并且要求存储的延时低，能快速响应。
#FormatImgID_4#
国内的AI公司针对不同行业不同细分场景，通过AI训练导出的模型，销售给最终用户。为了增加营收，降低部署难度，有不少AI公司将模型以及所需的软硬件打包，以一体机的方式销售。其中的存储系统多采用OEM或者转售的方式，因为AI公司的主业是它的算法以及针对场景不断优化，自研存储纳入到一体机里，性价比不高。
总结而言，过去的这些年，解决了数据的存放、保护和优化，尤其是在数字宇宙迅猛膨胀的过程中，如何低成本、高效率地存放。
下一个十年随着云计算、大数据、人工智能、物联网等新技术的快速发展，分布式、全闪存等迎来市场的高速发展。除此以外，还有区块链存储、边缘存储、量子存储、生物存储或基因存储，下面探讨下这些新存储技术的发展趋势。
（二）知来者
2019年12月27日，在2019国际超级计算产业博览会上，中国工程院院士、浪潮集团首席科学家王恩东提到： “智慧时代，计算力就是生产力，计算力指数是衡量一个国家、地区，甚至是企业发展水平的重要指数” 。
“从全球GDP与服务器出货量的分布来看，全球GDP排名前四的美国、中国、日本、德国，服务器采购量同样排名前四。数字经济在整个国家GDP的占比越高，这个国家的经济就越发达”。
“同样，在企业领域，10年前全球市值最高的十个企业，埃克森美孚、中石油、沃尔玛、中移动、中国工商银行等，都是来自能源、金融、通信等传统领域。今天全球市值最高的TOP10企业，清一色都是互联网企业，比如google、微软、亚马逊、腾讯、阿里巴巴，只有一家来自传统行业的沃尔玛。全球市值TOP级的企业也是计算力消耗最大的，市值排名和服务器采购量排名基本一致”。
王院士还剖析了计算的演变历史，“从计算发展的形态来看，云计算、智慧计算和科学计算三大典型计算场景已经成为主流信息化形态。其中，科学计算主要用来完成宇宙探索、石油勘探、海洋开发、工业仿真、基因测序等前沿科技领域；云计算已成为当今经济社会发展的‘水电煤’ ”。
其中智慧计算包括了AI计算、大数据、云计算和边缘计算。
有计算，就会有存储，只是或多或少，或快或慢，或过渡或长期保存的区别。
第一篇“鉴往事”里，我们讨论了AI存储、分布式存储，未来在边缘计算、量子计算的场景下，是不是会催生出边缘存储、量子存储出需求？ 例如有别于云存储，边缘存储应该具有功耗较低、占用空间较小，延时低的特征。
华中科技大学谢长生教授在2019中国数据与存储峰会分享了“Long Data”也即长期存储的挑战的应对。他提到，国际上有个研究课题How preserve information for 100 years？就是如何保存信息一百年。
我想，这种需求，也许会催生出生物存储，或基因存储？
这并不是空穴来风或者异想天开。2019年7月，美国布朗大学研究人员在新一期《科学公共图书馆·综合》杂志上发表了一篇论文，提到他们用基于生物小分子的存储系统累计存储了超过10万比特的数字图像信息，从中获得图像的准确率可达98%以上。
一百年太久，只看十年。
个人认为，未来十年，第一篇“鉴往事”里提到的分布式、云化、闪存化、智能仍然会延续。与此同时，将出现一些新的趋势，其中有一个重要的趋势将伴随着数字化转型逐渐显现出来，背后的原因是：数据即资产、数据即权力。无论做为企业，还是政府，当意识到数据的重要性的时候，不会轻易的分享数据，或者说将这一权利拱手相让。如何促进数据共享呢？
物理学家张首晟曾提到：“人工智能现在碰到了一个很大的瓶颈，因为如果 AI 要非常大的进步，它必然要需要很大的数据，但是现在的数据提供方都没有足够的激励机制提供极大量的数据”。如何激励数据提供方（也即用户和组织）提供数据，尤其是隐私数据（数据越隐私，价值可能越大）呢？
如何在激励数据提供方分享数据的同时，又能保护隐私呢？
答案就是区块链和存储的结合。
张首晟在文章《区块链技术是互联网世界新的分合转折点》中自己回答到：“一旦有了区块链之后，如果创造数据能被价值化、共识化，就会形成一个大的数据市场，使得人工智能也能够更往前进一步”
区块链解决了数据确权、激励分享、数据资产交易和流转等问题。但区块链要发展，区块链基础设施要先行，尤其是其中的重要组成部分 - 区块链存储。区块链存储中，比较重要的一类是公链存储，它是跨越全球的存储池 + Token激励机制。我们可以把它视为去中心化的云基础设施的一部分，或者说是去中心化的云存储。它现在还处在非常早期的阶段，但已经逐渐向我们走来。
2018年7月，Gartner在其技术成熟度曲线中，将区块链存储（Distributed Storage in Blockchain）列入科技诞生的促动期 (Technology Trigger)，并预计2023~2028年左右，进入到成熟应用的技术阶段，将有大量主流用户开始接纳。
#FormatImgID_5#
最后总结一下：下一个十年，存储发展趋势的七个关键词是：分布式、云存储、容器存储、全闪存、AI存储、区块链存储、边缘存储。量子存储、生物存储和基因存储可能还为时尚早。

JumpServer开源堡垒机与瀚高数据库完成兼容性认证

近日，中国领先的开源软件提供商FIT2CLOUD飞致云宣布，JumpServer开源堡垒机已经完成与国产瀚高数据库的兼容性认证。经过双方共同测试，JumpServer运维安全审计系统V2可以稳定纳管瀚高安全版数据库系统V4.5，同时满足性能需求、相互兼容，为企业级应用提供可靠保障。

瀚高基础软件股份有限公司（以下简称为瀚高数据库）成立于2005年，是国内数据库行业龙头企业、国内数据库行业标准主导企业，专业从事数据库管理系统研发、销售与服务。瀚高数据库以自主研发为中心不断完善产品体系，产品涵盖在线交易、数据分析、数据传输、容灾备份等场景。

瀚高安全版数据库系统V4.5是一款完全自主可控的关系型数据库管理系统，该产品专注于企业级市场，拥有众多先进的特性，在承担海量数据、高并发的复杂业务应用方面表现出色，能够满足企业级应用对数据管理的需求。

JumpServer是广受欢迎的开源堡垒机，是符合4A（包含认证Authentication 、授权Authorization、 账号Accounting和审计Auditing）规范的运维安全审计系统。JumpServer通过企业版或者软硬件一体机的方式，向企业级用户交付开源增值的运维安全审计解决方案。

与传统的堡垒机相比，JumpServer采用了分布式架构设计，可灵活扩展，水平扩容，支持超大规模的资产数量和高并发访问。JumpServer还采用了领先的容器化部署方式，并且提供体验极佳的纯浏览器化Web Terminal。JumpServer的产品交互界面美观、用户体验优异，同时支持对接多种公有云平台，满足企业在多云环境下部署使用的实际需求。

JumpServer开源堡垒机与瀚高数据库完成兼容性互认证，有效验证了JumpServer对国产数据库的适配能力。目前，JumpServer开源堡垒机已经实现了对国产CPU和操作系统的广泛适配，并且不断深化在数据库、中间件、负载均衡等领域与国产化软件的互操作性与可靠性，为广大企业级用户的安全运维保驾护航。