Doris 基础知识

Posted 2023-01-13

Apache Doris 是一个高性能、简单易用、支持实时的 MPP 架构分析型数据库。

一、MPP 架构

介绍

全称 Massively Parallel Processor，翻译过来就是大规模并行处理

在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上

每台数据节点通过专用网络或者商业网络互相连接，彼此协同计算，作为整体提供数据库服务

非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势

MPP 是将任务并行的分散到多个服务器和节点上，在每个几点计算完成后，将各自部分的结果汇总在一起得到最终的结果

简单来说

MPP 是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果（和 Hadoop 相似），仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析

二、OLTP、OLAP

联机事务处理 OLTP On-Line Transaction Processing

操作型处理，主要目标是做数据处理，针对具体业务在数据库联机的日常操作，通常对少数记录进行查询和修改

传统的关系型数据库系统（RDBMS）作为数据管理的主要手段，主要用于操行型处理

联机分析处理 OLAP On-Line Analytical Processing

分析型处理，主要目标是做数据分析，针对某些主题的历史数据进行复杂的多维分析，支持管理决策

数据仓库是 OLAP 系统的一个典型示例，主要用于数据分析

引擎分类

M OLAP，基于多维数组的存储模型，特点是对数据进行预计算，空间换效率，明细和聚合数据都保存在 cube 中

R OLAP，完全基于关系模型进行存储数据，不需要预计算，按需即时查询，明细和汇总数据都保存在关系型数据库事实表中

H OLAP，混合模型，细节数据以 R OLAP 存放，聚合数据以 M OLAP 存放，这种方式相对灵活，且更加高效

三、Doris 概述

Apache Doris 是一个现代化的基于 MPP 大规模并行处理 技术的分析型数据库产品，可以满足多种数据分析需求

例如：固定历史报表、实时数据分析、交互式数据分析和探索式数据分析等

核心特性

列式存储

基于 MPP 架构的分析型数据库

性能卓越，PB 级别数据毫秒/秒级响应

支持标准 SQL 语言，兼容 mysql 协议

高效的聚合表技术

新型预聚合技术 Rollup

高性能、高可靠、高可用

极简运维，弹性伸缩

四、整体架构

Doris = Google Mesa + Apache Impala + ORC 列式存储

Doris 整合了 Google Mesa 数据模型，Apache Impala MPP Query Engine 和 Apache ORCFile 存储格式、编码和压缩技术

极简架构

MySQL Tools(MySQL Networking) -> FE (Follower,Java) + FE (Leader,Java) -> BE (C++) + BE(C++)

FE Frontend 即 Doris 的前端节点，以 Java 语言为主，主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。

BE Backend 即 Doris 的后端节点，以 C++ 语言为主，主要负责数据存储、查询计划的执行

五、总结

Doris 使用 MPP 引擎驱动的 ROLAP 模式，可以简化模型设计，减少预计算的代价，并通过强大的实时计算能力，可以支撑良好的实时交互体验

Doris 是一个 ROLAP 引擎，可以满足 灵活多维分析、明细 + 聚合、主键更新

使用场景

一般用于数据处理后半段，存储处理完的数据，给前端提供实时查询