Flume环境部署

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flume环境部署相关的知识,希望对你有一定的参考价值。

文档位置:

http://flume.apache.org/FlumeUserGuide.html#system-requirements

Java Runtime Environment - Java 1.8 or later(JAVA版本必须为1.8或更高)

Memory - Sufficient memory for configurations used by sources, channels or sinks(要有足够的内存给channel和source使用)

Disk Space - Sufficient disk space for configurations used by channels or sinks(如果采用Channel为File类型,需要又足够的内存)

Directory Permissions - Read/Write permissions for directories used by agent(相关的文件夹要有读写的权限)
(2)环境的配置安装

1.安装jdk:

下载jdk

解压到/opt中

将java配置到系统环境变量中:vim ~/.bash_profile,编辑好环境变量,source ~/.bash_profile让配置生效

export JAVA_HOME=JDK解压路径

export PATH=$JAVA_HOME/bin:$PATH

验证:java -version

2.下载Flume

下载jdk
解压到/opt中
将Flume配置到系统环境变量中:vim ~/.bash_profile,编辑好环境变量后,source ~/.bahs_profile让配置生效

export FLUME_HOME=FLUME解压路径

export PATH=$FLUME_HOME/bin:$PATH

配置flume

cd $FLUME_HOME/conf/,在conf目录下会有flume-env.sh.temlate

cp flume-env.sh.template flume-env.sh

vim flume-env.sh

在 flume-env.sh中,能看到 # export JAVA_HOME,按照例子,在配置文件中配置JAVA_HOME地址

检测

flume-ng version

以上是关于Flume环境部署的主要内容,如果未能解决你的问题,请参考以下文章

HA高可用+hive+hbase+sqoop+kafka+flume+spark安装部署

阿里云ECS服务器部署HADOOP集群:Flume 安装

02_ Flume的安装部署

新手入门Flume搭建部署

本地环境idea进行远程debug调试flume代码

flume 1.8+Hadoop2.0