StarRocks 简介

Posted 2022-12-02 福州司马懿

简介

StarRocks（原 Apache Doris）是一款支持对海量数据进行快速分析的MPP（Massively Parallel Processing）大规模并行处理数据库。它采用新一代的弹性MPP架构，可以高效支持大数据量级的多维分析、实时分析、高并发分析等多种数据分析场景。

定位

StarRocks 的定位是面向在线报表和分析的数据仓库系统。可以对标于商业的 MPP 数据仓库系统，比如Greenplum、Vertica、Teradata 等。它采用了全面向量化技术，比同类产品平均快3-5倍。甚至在查询性能上远超当代最快的开源数据库 clickhouse

整体架构

StarRocks 的整体架构分为两层

• FE（Frontend）是前端节点。多个FE组成第一层，提供FE的横向扩展和高可用。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。
• BE（Backend）是后端节点。多个BE组成第二层，负责数据存储与管理、查询计划执行等工作

FE 分为 follower 和 observer 两类。各个FE之间通过 bdbje （BerkeleyDB Java Edition）进行 leader 选举，数据同步等工作

• follower 节点通过选举，其中一个 follower 成为 leader 节点，负责原数据的写入操作。当 leader 节点宕机后，其他 follower节点会重新选举出一个 leader，保证服务的高可用
• observer 节点仅从 leader 节点进行元数据同步，不参与选举。可用横向扩展以提供元数据的读服务的扩展性

适用 dbje（Oracle Berkeley DB Java Edition）来实现元数据操作日志持久化、FE 高可用等功能。

StarRocks 的目录结构如下

应用

StarRocks 支持本地文件、实时数据和HDFS文件的导入、通过兼容mysql协议，用户可以将原来通过各种主流BI工具和可视化平台，将业务切换到Doris

优势

• 完全兼容 MySQL协议
• 采用列式存储、对数据以高压缩比进行压缩存储、向量化执行等先进技术，因此获得了极高的查询效率
• 支持多种存储模型
• 支持两层分区
• 支持多数据导入方式
• 安全资源格力扩容缩容
• 备份恢复
• 支持web监控和管理

适用场景

• 高并发的点查询
• 高吞吐的即席查询
• BI报表分析
• 实时查询

相关资源

StartRocks 下载地址 https://www.starrocks.com/zh-CN/download/community

类型	名称
数据迁移	StarRocks Migration Tool
数据迁移	Flink Connector StarRocks
数据迁移	DataX Writer
监控报警	Grafana Dashboard
扩展依赖	Hive S3 lib