StarRocks 简介

Posted 福州司马懿

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了StarRocks 简介相关的知识,希望对你有一定的参考价值。

简介

StarRocks(原 Apache Doris)是一款支持对海量数据进行快速分析的MPP(Massively Parallel Processing)大规模并行处理数据库。它采用新一代的弹性MPP架构,可以高效支持大数据量级的多维分析、实时分析、高并发分析等多种数据分析场景。

定位

StarRocks 的定位是面向在线报表和分析的数据仓库系统。可以对标于商业的 MPP 数据仓库系统,比如Greenplum、Vertica、Teradata 等。它采用了全面向量化技术,比同类产品平均快3-5倍。甚至在查询性能上远超当代最快的开源数据库 clickhouse

整体架构

StarRocks 的整体架构分为两层

  • FE(Frontend)是前端节点。多个FE组成第一层,提供FE的横向扩展和高可用。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。
  • BE(Backend)是后端节点。多个BE组成第二层,负责数据存储与管理、查询计划执行等工作

FE 分为 follower 和 observer 两类。各个FE之间通过 bdbje (BerkeleyDB Java Edition)进行 leader 选举,数据同步等工作

  • follower 节点通过选举,其中一个 follower 成为 leader 节点,负责原数据的写入操作。当 leader 节点宕机后,其他 follower节点会重新选举出一个 leader,保证服务的高可用
  • observer 节点仅从 leader 节点进行元数据同步,不参与选举。可用横向扩展以提供元数据的读服务的扩展性

适用 dbje(Oracle Berkeley DB Java Edition)来实现元数据操作日志持久化、FE 高可用等功能。

StarRocks 的目录结构如下

应用

StarRocks 支持本地文件、实时数据和HDFS文件的导入、通过兼容mysql协议,用户可以将原来通过各种主流BI工具和可视化平台,将业务切换到Doris

优势

  • 完全兼容 MySQL协议
  • 采用列式存储、对数据以高压缩比进行压缩存储、向量化执行等先进技术,因此获得了极高的查询效率
  • 支持多种存储模型
  • 支持两层分区
  • 支持多数据导入方式
  • 安全资源格力扩容缩容
  • 备份恢复
  • 支持web监控和管理

适用场景

  • 高并发的点查询
  • 高吞吐的即席查询
  • BI报表分析
  • 实时查询

相关资源

StartRocks 下载地址 https://www.starrocks.com/zh-CN/download/community

类型名称
数据迁移StarRocks Migration Tool
数据迁移Flink Connector StarRocks
数据迁移DataX Writer
监控报警Grafana Dashboard
扩展依赖Hive S3 lib

以上是关于StarRocks 简介的主要内容,如果未能解决你的问题,请参考以下文章

Seatunnel实战:hive_to_starrocks

StarRocks 安装与配置

得物基于 StarRocks 的 OLAP 需求实践

Meetup No.1 | StarRocks 技术详解

Meetup No.1 | StarRocks 技术详解

5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战