大数据日知录第二章:数据的复制与一致性

Posted sunshisonghit

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据日知录第二章:数据的复制与一致性相关的知识,希望对你有一定的参考价值。

基本原则:

CAP (Consistency Available Partition Tolerance) 三个条件不可能同时满足(强一致性,可用性,网络分区总会存在,但存在网络分区的条件下让仍然可以用)

在目前的互联网中,P是客观的条件,为了好的用户体验往往A也必须达到,如此只能弱化C 也就是弱一致性模型。

ACID(Atomicity, Consistency, Isolation, Duration) 在关系型数据库中常用 保证数据的强一致性和高可靠性

分布式系统下的幂等性:调用方反复执行同一操作与只正确执行一次的效果相同。

副本更新策略有:同时更新(更新顺序难以确定),主从式更新(主副本和从副本),任意节点更新(同步和异步)

同步是指:发送方发出数据后,等接收方发回响应以后才发下一个数据包的通讯方式。  

异步是指:发送方发出数据后,不等接收方发回响应,接着发送下个数据包的通讯方式。

一致性协议:

  向量时钟:分布式环境下生成事件之间偏序关系的算法  

    RWN协议:至少有R份数据成功读取,至少有W份数据写入成功,分布式系统中包含N个备份,若R+W>N 则满足数据一致性协议。

 

以上是关于大数据日知录第二章:数据的复制与一致性的主要内容,如果未能解决你的问题,请参考以下文章

Paxos协议

《大数据日知录:架构与算法》试读

大数据日知录 - 算法与数据结构 - 1

大数据日知录 - 算法与数据结构 - 1

大数据日知录集群资源管理与调度笔记

大数据日知录第五章:分布式协调系统笔记--如何当选老大?如何加入组织?如何将组织的意愿传递下去