大数据结构生态体系
Posted 阿布都日
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据结构生态体系相关的知识，希望对你有一定的参考价值。
- 数据来源层
- 数据库
- 日志
- 视频，ppt
- 数据传输层
- Sqoop数据传递
- Flume日志收集
- kafka消息队列
- 数据存储层
- HDFS文件存储
- HBase非关系型数据库
- kafka（存储少量数据）
- 资源管理层
- YARN资源管理
- 数据计算层
- MapReduce离线计算
- Hive数据查询
- Mahout数据挖掘
- Spark Core内存计算
- Mahout数据挖掘
- SparkMlib数据挖掘
- Spark R数据分析
- Spark Sql数据查询
- Spark Streaming 实时计算（准实时-批处理）
- Storm实时计算（来了就计算）
- Flink
- MapReduce离线计算
- 任务调度层
- Oozie任务调度
- Azkaban任务调度
- 业务模型层
- 业务模型，数据可视化，业务应用
以上是关于大数据结构生态体系的主要内容，如果未能解决你的问题，请参考以下文章