Flume在企业大数据仓库架构中位置及功能
Posted Raymoc
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Flume在企业大数据仓库架构中位置及功能相关的知识，希望对你有一定的参考价值。
Flume在企业大数据仓库架构中位置及功能
数据仓库架构
1、如下图所示，外部数据中，关系型数据库导入到HDFS用sqoop，由nginx产生的文件实时监控用Flume获得。
在HDFS或Hbase中，如果要进行实时查询用Impala（内存），如果是分析可以用Hive，Mapreduce分析。用Oozie来调用工作流执行任务。
2、左边是数据的来源：系统日志文件，应用文件（应用系统收集APP产生的日志），点击流（点击产生的日志），销售点（订单信息）。通过Flume收集然后给HDFS存储。
3、Flume在企业中的做法
以上是关于Flume在企业大数据仓库架构中位置及功能的主要内容，如果未能解决你的问题，请参考以下文章