Date14

Posted 2020-11-08 genghenggao

Google Bigtable

动态的控制数据分布和格式 PB级

Bigtable:适用性广泛、可扩展、高性能、高可用

数据没有格式，用户自己去定义
稀疏的、分布式的、持久化存储的多维排序Map 。 Map的索引是行关键字、列关键字、时间戳
Webtable：URL(关键字) 反转URL中主机名
时间戳
API:修改群、表、列族
用户程序：写入、删除、查找、遍历、读-更新-写操作--->>>服务器地址空间执行脚本程序
BigTable构件：
（Chubby 副本运行 or 用Paxos算法保持一致）
a、给定时间只有一个活动的Master副本

b、存储位置

c、查找

d、存储模式信息

e、存储列表
三个组件：链接到客户程序库、一个Master服务器、多个Table服务器
Chubby file-->> Root Table（METADATA table）-->>Other METADATA tablets -->>User Table1...UserTableN

Major Compaction:合并SSTable-->>新SSTable
Bloom过滤器：减少访问次数
Commit日志： -->>GFS-->>排序-->>Seek操作

Minor Compaction

 

Google File System（GFS）

面向大规模数据密集型应用的、可伸缩的分布式文件系统
大规模的流式读取和小规模的随机读取
GFS集群：Master节点+Chunk服务
惰性空间分配、 原子性的

分离数据流、控制流