TiDB笔记

Posted 2022-11-23

TiDB笔记

1.功能介绍

• TiDB Server集群（无状态，不存储数据）

  • 处理客户端发送的sql语句，进行解析编译优化，生成执行计划
  • 如果是insert要将表的数据转换为key和value的形式，向TiKV存储
  • 执行online DDL
  • 每隔十分钟左右进行垃圾回收（GC）将历史版本数据删除
  • 可水平扩展，增强并发处理能力

• TiKV

  • 存储数据（数据持久化），存储引擎集群，默认创建三副本（只有一个leader可以读写，其他都不可以读写，其他的跟着leader变），高可用性

  • 存region（行存）

    

    • rocksdb单机的Key-Value存储引擎（内部使用这个数据库保障TiKV的数据持久化）
    • rockdbkv(rocksdb实例):将表数据转换为key-value的形式存储在rockdb实例中
    • rockdbraft(rocksdb实例)：存储表的增删改等指令
    • Raft协议（保障了三副本的强一致性）
    • MVCC（保障了其他操作可以正常执行，例：读的是修改前的数据）
    • Transaction事务层（支持事务）
    • 算子下推实际上是一个分布式计算的模型

• TiFlash

  • 存储数据，存储引擎集群
  • 存region（列存，擅长统计分析数据）
  • TiKV行存更多承载在线交易型业务OLTP(事务型)
  • TiFlash更多承载分析型业务OLAP(暴力扫描)
  • HTAP(OLTP,OLAP)支持
  • 

• region : 96M->144M

  • 数据库表切分,分布存储在TiKV

• PD:PlacementDriver

  • 集群的大脑
  • 存储想要的表在TiKV,TiFlash的对应位置（这些信息叫做：region 的元数据：表在哪些TiKV,TiFlash上分布信息）region与TiKV,TiFlash的对应关系
  • 存储查询每条sql执行的开始时间，结束时间（TSO对时间进行标识，计时器：对一个事务有开始的TSO有结束的TSO）
  • 

• 体系特点：

  • 水平扩容或缩容
  • 金融级高可用
  • 实时HTAP
  • 云原生的分布式数据库
  • 兼容mysql5.7协议

• 题目：

2.TiDBServer详情

• TiDB server 架构

  • 

  • 功能：

    • 处理客户端的连接（Protocol Layer）

    • SQL 语句的解析和编译（Parse，Compile）生成执行计划交由Excutor进行执行

      • AST语法树
      • 

    • 关系型数据与 KV 的转化

      • 聚簇表：标号+原表主键做主键（主键唯一）

        

        • region(默认大小96M->144M，超出分裂，分布式存储在TiKV中)

          

          

      • 非聚簇表（自动生成主键）

    • SQL 语句的执行

      

      • DistSQL将复杂sql的执行计划转换为单表计算任务组合发送给TiKV,涉及一张表涉及多个region
      • 简单查询，点查走KV就不走DistSQL
      • Transaction将开始时间和结束时间(TSO)发送给PDClient

    • 在线 DDL 的执行

      • 
      • 对于整个tidb数据库来说，同一时刻只能有一个TiDBServer做DDL操作（worker）
      • owner执行job,不是固定的，有任期时长，轮换当owner，谁当owner谁复制执行job队列的DDLJob
      • schema load将最新的所有的表信息同步到内部的缓存中，好根据这些信息执行jobqueue里面的job
      • TIKV持久化存储

    • 垃圾回收（定期清理过期版本的数据）

      • GCLifeTime(默认十分钟)保存当前时间到savepoint时间的数据，其他的进行清除

    • 热点小表缓存 V6.0 （cacheTable）进一步热点缓存区

      • 

      • 解决数据可能不一致的问题（缓存租约，既存在使用时间，租约时间内，可以读，无法进行写操作）

        

      • 应用：

        • TiDB 对于每张缓存表的大小限制为 64 MB
        • 适用于查询频繁、数据量不大、极少修改的场景
        • 在租约 （tidb_table_cache_lease） 时间内,写操作会被阻塞
        • 当租约到期 （tidb_table_cache_lease） 时,读性能会下降
        • 不支持对缓存表直接做 DDL 操作,需要先关闭
        • 对于表加载较慢或者极少修改的表,可以适当延长 tidb_table_cache_lease 保持读性能稳定

    • TiDB缓存

      • 默认使用TIDB数据库的所有内存

      • 使用场景

        

      • tidb_mem_quota_query限制每条sql占用的缓存

      • oom-action决定超出了上面缓存以后的操作

• 题目：