有人@我为什么在NoSQL与大数据时代，传统的数据管理败下阵来

Posted 2021-05-01 小象

译者：孙薇

原文链接：http://www.datacenterknowledge.com/archives/2015/09/22/traditional-data-management-fails-era-nosql-big-data/

小象科技原创作品，欢迎大家疯狂转发；

机构、自媒体平台转载务必至后台留言，申请版权。

数据迅速发展创造了很多激动人心的新机遇，同时也向各类企业提出了巨大的挑战。机遇在于：获取人类及机器所产生的巨量数据，打造更为个性化的电子商务网站，更快地识别欺诈模式，甚至更高效地对基因组进行排序。NoSQL运动对推广类似Cassandra、MongoDB和Couchbase之类的数据平台很有帮助。这类平台允许对这些网络规模的应用进行快速的分布式处理。

1

在数据丰富的世界里，数据管理所遇到的挑战

然而，这个新的应用分类后续面临的挑战在于，原本用于关系数据库的传统数据管理技术不再奏效。数据管理包括备份和恢复、存档等概念，还有工程师团队可以使用生产环境的数据子项来测试新应用功能的测试或开发管理。那么为什么传统办法不再奏效了呢？

现在，数据管理功能要在商用硬件与存储中以平面扩容的方式处理数百TB乃至PB的数据。传统的数据管理产品是建立在向上扩展的架构上，无法处理PB规模的应用，也不具备处理传统开源技术的能力。

DevOps还有其他敏捷方法的出现导致了对应用快速迭代的需求，意味着需要一款数据管理产品帮助这些团队刷新数据集、保持迭代。你上一次在同一句话里听到DevOps和Veritas这两个词是什么时候啦？我也是这样认为的。

即便在NoSQL世界里也有着各式各样的数据格式，选择数据管理产品来处理各个数据平台的存储优化需求将变得十分困难。如果你的公司同时在用Cassandra和HBase，那么数据管理架构需要在备份、恢复、存档和进行其他的关键步骤时，依次处理这些独有的应用格式。

2

NoSQL和数据可用性

在确保NoSQL还有其他大数据应用中的通用数据保持可用性这一点上，公司应当如何看待？在大数据应用所处理的海量数据中，首次完整备份后必须永久增加备份空间，否则就得不断争取更多的存储空间，特别是生产集群上的空间，这通常也是导致资源大量耗尽的原因。

此外，每周在1PB的数据集中备份一次是永远无法满足企业服务级别的协议的。NoSQL在实施时通常需要运行数百甚至数千个节点，采用无代理的数据管理架构十分必要。生产节点管理所花费的日常开支是十分巨大的。数据科学或者DevOps团队需要访问生产数据，以支持正在进行的分析工作或者在新应用功能方面的迭代。

然而，生产数据可能包含保密信息，一旦泄漏会危害到企业的品牌与声誉。这时添加一层不可移除、屏蔽前后保持一致（这样在使用屏蔽后的数据时会得出与屏蔽前相同的结论）、且为单向性的数据屏蔽架构就非常重要了。新的备份架构需要对NoSQL应用领域中不同的数据抽象有所理解。比如，与Cassandra结合的工作流必须理解并建立密匙空间（keyspace）和表格（table）的概念，这一点对实际数据与元数据层均适用。

3

小结

NoSQL及其他大数据平台的出现只在某些渠道中对传统数据管理的思路有所改变。关注这些架构方面的思考，将会确保驱动新应用的数据对应用的使用者来说总是可用的。