IBM的大数据云江湖，谁是新盟主？

Posted 2020-08-15

大家都知道，在传统IT时代，数据库三巨头有IBM、Oracle和微软。在三巨头中，IBM可以说是绝对的数据库巨头，1968年就研发出了世界上第一个层次型数据库管理系统IMS，1970年IBM专家首次提出了数据关系模型的概念，1974年又提出了一种新型的数据查询语言也就是后来SQL的前身，1983年IBM发布了著名的DB2数据库，2001年以10亿美金收购了Informix。

然而到了云计算和大数据时代，一时风云变化。Hadoop和Spark等开源大数据存储与处理技术的崛起，导致了全球数据库市场格局的转变。现在一共有多少种数据库产品？澳大利亚IT咨询公司solid IT创建的数据库知识网DB-Engines就监控了全球260多种流行的数据库产品、涉及多达14个大类，包括商用和开源数据库产品，涵盖关系型和非关系型数据数据库。

为了适应今天的大数据环境，IBM也不甘落后，豪掷了超过250亿美金，用于收购相关的大数据存储、处理、管理与分析技术公司，而且还连同自己的DB2一起都搬到了云上，在云上形成了一个有着超过25种基于云交付的大数据技术所组成的新IBM大数据云江湖。这个大数据云江湖，谁是新盟主？

从诸神对战到诸神共存

今天，数据无所不在。不管是数据的类型还是存储的地点，用户不再受数据的物理地址或虚拟地址的限制，也不管数据来自哪个应用，甚至也不理会数据是结构化的还是非结构化的。

业务部门需要跨整个组织甚至外部的实时数据流，来做运营分析和决策，而不管这些数据是何种格式。对于企业来说，整合及分析来自交易系统的实时运营数据、来自传统数据仓库和市集的历史数据以及非结构的高速数据等等，才是能持续应对快速发展的外部挑战和机遇。

所以，现在其实没有单一数据库技术能满足企业的所有需求，包括支持云计算规模的解决方案、持续增长的动态APP生态等，企业、开发者、软件服务商们都在采用各种开源数据库技术来满足更为细分的数据库需求。mysql、MongoDB、Redis、PorsgreSQL等开源数据库技术，已经从过去互相争夺江湖地位，转而互相找到了各自的空间。

而软件开发团队也不再受限于特定的数据库技术，特别是当开发和设计互联网化大规模应用时，开发团队的策略往往是选择多种数据库技术，每一种数据技术用于处理特定的场景。比如MongoDB作为主数据存储库，Elasticsearch用于全文搜索引擎，PostgreSQL提供ACID兼容的交易型数据库，再让三者和谐共存。所有数据都可以集中存储在单一数据库里，再实时分发给不同的后端服务，而难点在于部署、管理及大规模运行多数据库环境。

我们今天进入到了一个无处不在、可达毫秒级的高速互联网时代，所有的软件开发和维护人员都能实时互联。数据库技术也到了进入这个状态的时候了，这就是数据库云服务。IBM云数据服务就是这样诞生的，它为IT人员提供一个可覆盖不同规模、不同类型等完整的内容、数据和分析集成解决方案，形成了开发平台、云服务以及开源数据工具相结合的云数据服务体系Cloud Data Services。

这个云数据服务体系中，既包括著名基于开源CouchDB架构的托管数据库Cloudant，也包括了囊括7种流行开源数据库MongoDB、PostgreSQL、Elasticsearch、Redis、RethinkDB、etcd、RabbitMQ等的Compose，还包括IBM自己的基于云端的数据仓库dashDB、数据迁移工具DataWorks等。而这些服务既有云服务版本，也有本地部署的Local版本。

IBM创造了一个诸神共存的大数据江湖，而这个大数据江湖中唯一的盟主就是用户。

你必须要知道的Cloudant

Cloudant是IBM在2014年收购的创业公司，在业界大名鼎鼎。这家创业公司的产品是基于开源CouchDB架构的托管数据库。Cloudant的强项在于永不宕机、动态扩容以及分布式异地多活存储，特别适合电商、在线游戏、金融支付等应用场景。

CouchDB是NoSQL开源项目中的一个，虽然在服务器端应用的表现上不如MongoDB、Cassandra、Redis等，但它对移动平台提供了良好支持，为javascript Web开发提供的极大便利，特别可以作为Web应用宿主以及云计算平台组件。

而基于服务水平协议（SLA）的Cloudant作为开源CouchDB的商用解决方案，可用于管理大型或快速增长型的Web或移动应用，特别适合需要处理大规模并发、低延时、混合读写的操作型数据存储，它独到的数据复制和同步技术支持持续的数据可用性以及移动或远程用户的离线应用。

IBM Cloudant目前在全球有4支技术专家团队为用户提供了24 x 7的技术支持，其中一支团队就位于北京IBM中国开发中心，负责在中国白天的时间支持全球所有用户的技术需求。IBM Cloudant还是一个全面托管的NoSQL数据库服务，省确了web及移动开发者的时间、成本和技术管理烦恼，而只要集中精力于web或移动应用开发即可。作为云服务，Cloudant还提供了高达50GB/月的免费存储空间。

实际上，Cloudant生于云计算时代，与生俱来的就是高弹性、高可用性，可管理流行的web和移动数据诸如JSON、Booleans和矩阵等。Cloudant的特色包括大规模可扩展性，能消除数据库扩展的风险、成本和扩展挑战，能帮助开发者把APP应用快速扩展到全球范围；其次是高可用性，Cloudant在3个独立的服务器里存储3份数据，自动处理数据分片（sharding）及再平衡，保证应用和业务永远在线；第三是安全的基础设施，可轻松备份高达100个节点、扩展到多个数据中心的在线数据库。

当然，还有Cloudant Local版本，可把Cloudant DBaaS云服务放到企业本地的数据中心里，这样就可以在私有数据中心和公有云之间混合管理数据的流动，同时满足了企业对于数据隐私和安全性的考虑。而由于架设在云上，Cloudant还能与其它IBM云数据服务互联互通，比如仅需要几个鼠标点击，就能把应用数据从Cloudant迁移到基于Bluemix的数据仓库dashDB中。

帮助CCTV央视网“骑闯天路”

相较于以残酷闻名的南非自行车极限赛和蒙古自行车极限赛，VAUDE-318川藏自行车极限赛挑战赛赛程更长、每日爬升及里程更为庞大、地形更复杂、气候变化更极端，赛程设计使得该赛事成为目前世界上难度最大、海拔最高的自行车极限赛。2015年通过层层选拔的参赛车手们，全程完赛率仍然不足20%。

2016年由VAUDE（德国）中国区授权赛事运营公司举办的“骑闯天路”分为西藏天路系列和天际之路系列，西藏天路系列包括川藏天路、青藏天路、滇藏天路、新藏天路四大赛事。本届“骑闯天路”的挑战组（TC）组，要完成从四川至西藏10天赛程共2000公里路线。而2015年首届骑闯天路·川藏318自行车极限赛，是人类首次在平均海拔4000米以上的高海拔地带举行的自行车耐力赛。

CCTV央视网想对于今年的“骑闯天路”进行视频直播，同时还想要加入更多的数据元素。于是在今年的十一前夕找到了IBM，期望能与IBM能一起做一个实时数据监测与展示APP，可以直播每个选手的实时数据，包括当前总排名、当前海拔、当前心率、今日已骑行公里数、车轮运行情况等数据。

来自CCTV央视网、IBM Bluemix云团队、IBM中国开发中心大数据团队、IBM物联网团队、自行车码表供应商团队等技术专家组成了项目团队，赶在10月7日开播之前完成了项目。该项目从自行车码表和可穿戴设备收集数据，通过基于MQTT（IBM物联网协议）的手机应用上传到基于Bluemix的IoT物联网平台，再通过Node.js应用进行数据处理，再由Cloudant云端存储用于查询。

IBM中国开发中心APS分析平台服务团队Cloudant开发运维经理周瓒介绍说，对于“骑闯天路”现有40多个终端码表设备，通过Cloudant做高并发实时数据服务，每秒都要采集和传输所有码表的数据，峰值时可达每秒600次写操作，一天下来数据量达0.7GB左右，全部数据都过链路从四川传到北京世纪互联数据中心。

Cloudant天生支持云端数据分析以及前端的移动应用开发，央视网团队只需要关注展示端的设计即可，无需关注后端的数据收集、处理、分析及存储管理。当然，IBM中国开发中心的技术团队这个十一也没休息，整个开发过程中技术与支撑团队一直与客户在线上沟通，能敏捷开发方式抢在十一的几天内就完成了项目。

除了CCTV央视网的这样尝试外，自今年5月Cloudant云数据服务落地中国以来，已经有不少企业对Cloudant表达了浓厚的兴趣，有的项目已经进入到了生产阶段。当然，更加吸引企业客户的，还是IBM丰富的云数据服务生态。随着10月19日Bluemix公有云正式落地中国，将有更多的IBM云数据服务进入国内，这将为企业用户提供丰富的商用解决方案选择。

通过CCTV央视网的例子，你就知道在IBM的大数据江湖中，盟主的地位必然是用户，以用户为中心做敏捷开发与实时支持服务。这是整个云服务时代，给IBM带来的最大改变。（IBM现已开放了Cloudant免费试用，可点击此处申请）（文/宁川，《云科技时代》微信号：CloudTechTime）

本文出自 “云科技时代” 博客，请务必保留此出处http://cloudtechtime.blog.51cto.com/10784015/1864002