Flume的概述和安装部署

Posted 2021-02-10 hellobigtable

一、Flume概述

　　Flume是一种分布式、可靠且可用的服务，用于有效的收集、聚合和移动大量日志文件数据。Flume具有基于流数据流的简单灵活的框架，具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错能力。Flume使用简单的的可扩展数据模型，循环在线分析应用程序。

 

二、Flume的作用

　　数据的来源大致有三类：

　　1.爬虫

　　2.日志数据　　　=>使用Flume进行获取传输

　　3.传统数据库　　=>使用Sqoop进行数据迁移

 

三、Flume架构

　　1.source：数据源

　　　　接收webser端的数据，产生数据流

　　　　同时source将产生数据流传输到channel

　　2.channel：传输管道

　　　　用于桥接source和sinks

　　3.sinks：下沉

　　　　从channel接收数据，并传输到hdfs或下一个agent

　　4.agent：代理

　　　　一个agent中包含一组source,channel,sinks

四、Flume的安装部署

　　1.从官网下载flume安装包(本人使用的是1.6.0版本)

　　2.上次到linux中解压

　　　　tar -zxvf ***.tar

　　3.重命名解压缩的文件夹为flume，方便以后更新维护

　　4.进去flume下的conf文件夹，将文件flume-env.sh.template重命名为flume-env.sh

　　5.进去该文件，删除java_home的注释，并修改java路径为本机的java_home路径

　　　　export JAVA_HOME=/root/hd/jdk1.8.0_102

　　6.保存并退出，安装完成！