Kudu基本介绍

Posted 2023-03-15

参考技术A ● Master：负责集群table、tablet元数据管理，对table的crud，tablet分布，ts宕机后tablet转移。提供元数据信息的api接口；
● TabletServer：提供用户IO请求相应，负责本地磁盘系统的读写
● table ： 表
● tablet ： 分区表，分布在各个tabletserver上
● CatalogTable ： kudu的元数据表，tables、tablets的信息存储于catalog table中，可以通过api的方式访问

● 近实时可用的流式数据输入
● 时序应用，以提供更广泛的访问
● 预测建模（更新操作，以改变文件中一个或多个数据集）
● impala可以多个数据源，很方便处理历史遗留问题（数据层面）

比较合理的设计是什么样？
● 数据分布合理，提升读写的性能
● tablet间数据均匀，负载可以保持稳定
● 数据读取，尽可能涉及到较少的设计操作

以上取决于partition、primarykey的设计，最重要的就是对数据特征的了解。所以，在使用kudu的时候，对我们来说，schema设计是最重要的。

● kudu提供了组件索引
● 不支持范围update、delete
● 没有mysql那样的自动增长feature，需要用户自己指定

Hash and Range Partitioning Example

Hash and Hash Partitioning Example