一致性模型对系统设计的重要性,数据的备份

Posted 薛定谔的猫!

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了一致性模型对系统设计的重要性,数据的备份相关的知识,希望对你有一定的参考价值。

 文件系统的一致性和应用程序的方法有关,如果不调用sync(),就需要做好因为客户端异常或者服务端故障而缺失部分数据。缺失数据这对应用来说是不可接受的。所以需要在合适的地方调用sync(),比如在写入一定量的数据后,尽管sync()用来最大限度的减轻hdfs的负担,但是他仍有不可忽视的开销。所以你需要在数据的健壮性和吞吐量之间做好权衡,其中一个好的平衡点:通过测试应用程序来选择sync频率间性能的平衡点

 
 
hadoop的设计目标之一就是能够在可靠的分布式集群上数据存储,hdfs允许数据丢失,所以数据备份就显的很重要。备份哪些数据,数据备份到哪里,这就比较关键。在备份过程中,最优先备份的应该是那些不可恢复,商业价值重要的数据
强调:不要认为hdfs的副本机制可以代替数据的备份

以上是关于一致性模型对系统设计的重要性,数据的备份的主要内容,如果未能解决你的问题,请参考以下文章

Replication(上):常见的复制模型&分布式系统的挑战

Replication(上):常见的复制模型&分布式系统的挑战

django模型

互联网账户系统如何设计(下篇)?

DDD领域驱动设计 - 设计文档模板

机票实时搜索系统架构设计