阿里云ECS服务器部署HADOOP集群：Flume 安装

Posted 2020-11-22 522hh

本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建。

 

1 环境介绍

• 一台阿里云ECS服务器：master
• 操作系统：CentOS 7.3
• Hadoop：hadoop-2.7.3.tar.gz
• Java: jdk-8u77-linux-x64.tar.gz
• Flume：apache-flume-1.8.0-bin.tar.gz

2 Flume 下载

下载 apache-flume-1.8.0-bin.tar.gz 并在合适的位置解压缩，笔者这里解压缩的路径为:

/usr/local

将解压得到的目录改名为 flume

1 cd /usr/local
2 mv apache-flume-1.8.0-bin/ flume/

3 添加 Flume 环境变量

在"/etc/profile"中添加内容：

1 export FLUME_HOME=/usr/local/flume                   
2 export PATH=$PATH:$FLUME_HOME/bin

重新加载环境：

source /etc/profile

4 修改 Flume 环境变量

1 cd /usr/local/flume/conf 
2 cp ./flume-env.sh.template ./flume-env.sh
3 vim ./flume-env.sh

添加内容：

export JAVA_HOME=/usr/local/jdk1.8

5 验证安装

flume-ng version

如果安装成功，则会看到以下内容

Flume 1.8.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 99f591994468633fc6f8701c5fc53e0214b6da4f
Compiled by denes on Fri Sep 15 14:58:00 CEST 2017
From source with checksum fbb44c8c8fb63a49be0a59e27316833d

注意：如果系统里安装了hbase，会出现错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty。如果没有安装hbase，这一步可以略过。

cd $HBASE_HOME
vim hbase-env.sh

1 #1、将hbase的hbase.env.sh的这一行配置注释掉,即在export前加一个#
2 　　#export HBASE_CLASSPATH=/home/hadoop/hbase/conf
3 #2、或者将HBASE_CLASSPATH改为JAVA_CLASSPATH,配置如下
4 　　export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
5 #笔者用的是第一种方法

上述方法出自 http://dblab.xmu.edu.cn/blog/1102/#more-1102

6 安装完成

阿里云ECS服务器部署HADOOP集群系列：

• 阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建
• 阿里云ECS服务器部署HADOOP集群（二）：HBase完全分布式集群搭建（使用外置ZooKeeper）
• 阿里云ECS服务器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建
• 阿里云ECS服务器部署HADOOP集群（四）：Hive本地模式的安装
• 阿里云ECS服务器部署HADOOP集群（五）：Pig 安装
• 阿里云ECS服务器部署HADOOP集群（七）：Sqoop 安装