数据仓库技术选型

Posted 闭关苦炼内功

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据仓库技术选型相关的知识，希望对你有一定的参考价值。

文章目录

数据采集传输

  • Flume
  • Kafka
  • Sqoop
  • Logstash
  • DataX

数据存储

  • mysql
  • HDFS
  • HBase
  • Redis
  • MongoDB

数据计算

  • Hive
  • Tez
  • Spark
  • Flink
  • Storm

数据查询

  • Presto
  • Kylin
  • Impala
  • Druid
  • ClickHouse
  • Doris

数据可视化

  • Echarts
  • Superset
  • QuickBI
  • DataV

任务调度

  • Azkaban
  • Oozie
  • DolphinScheduler
  • Airflow

集群监控

  • Zabbix （离线）
  • Prometheus （实时）

元数据管理

  • Atlas

权限管理

  • Ranger

以上是关于数据仓库技术选型的主要内容，如果未能解决你的问题，请参考以下文章

云端数据仓库的模式选型与建设

数据仓库之电商数仓-- 1用户行为数据采集

云端数据仓库的模式选型与建设

电商数仓笔记1（数据仓库概念，项目需求及架构设计，数据生成模块）

数据仓库篇数仓建模的选型

大数据项目之电商数仓数据仓库概念项目需求及架构设计