Flume的概述和安装部署

Posted hellobigtable

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flume的概述和安装部署相关的知识,希望对你有一定的参考价值。

一、Flume概述

  Flume是一种分布式、可靠且可用的服务,用于有效的收集、聚合和移动大量日志文件数据。Flume具有基于流数据流的简单灵活的框架,具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错能力。Flume使用简单的的可扩展数据模型,循环在线分析应用程序。

 

二、Flume的作用

  数据的来源大致有三类:

  1.爬虫

  2.日志数据   =>使用Flume进行获取传输

  3.传统数据库  =>使用Sqoop进行数据迁移

 

三、Flume架构

  1.source:数据源

    接收webser端的数据,产生数据流

    同时source将产生数据流传输到channel

  2.channel:传输管道

    用于桥接source和sinks

  3.sinks:下沉

    从channel接收数据,并传输到hdfs或下一个agent

  4.agent:代理

    一个agent中包含一组source,channel,sinks技术图片

四、Flume的安装部署

  1.从官网下载flume安装包(本人使用的是1.6.0版本)

  2.上次到linux中解压

    tar -zxvf ***.tar

  3.重命名解压缩的文件夹为flume,方便以后更新维护

  4.进去flume下的conf文件夹,将文件flume-env.sh.template重命名为flume-env.sh

  5.进去该文件,删除java_home的注释,并修改java路径为本机的java_home路径

    export JAVA_HOME=/root/hd/jdk1.8.0_102

  6.保存并退出,安装完成!

 

以上是关于Flume的概述和安装部署的主要内容,如果未能解决你的问题,请参考以下文章

大数据技术之FlumeFlume概述Flume快速入门

大数据技术之FlumeFlume概述Flume快速入门

大数据技术之FlumeFlume概述Flume快速入门

flume

flume

flume