数据仓库技术结构-随便写写
Posted chengjianxiaoxue
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据仓库技术结构-随便写写相关的知识，希望对你有一定的参考价值。
数据采集：采用Flume收集日志，采用Sqoop将RDBMS以及NoSQL中的数据同步到HDFS上
消息系统：可以加入Kafka防止数据丢失
实时计算：实时计算使用Spark Streaming消费Kafka中收集的日志数据，实时计算结果大多保存在Redis中
机器学习：使用了Spark MLlib提供的机器学习算法
多维分析OLAP：使用Kylin作为OLAP引擎
数据可视化：提供可视化前端页面，方便运营等非开发人员直接查询
以上是关于数据仓库技术结构-随便写写的主要内容，如果未能解决你的问题，请参考以下文章