SIX Spark Streaming 编程初级实践

Posted 2021-03-11 nclong

Flume 官网下载 Flume1.7.0 安装文件，下载地址如下：

http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz

下载后，把 Flume1.7.0 安装到 Linux 系统的“/usr/local/flume”目录下，

⑴解压安装包

1.cd ~/下载

2.sudo tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local

# 将 apache-flume-1.7.0-bin.tar.gz 解压到/usr/local 目录下，这里一定要

加上-C 否则会出现归档找不到的错误

3.cd /usr/local

4.sudo mv ./apache-flume-1.7.0-bin ./flume #将解压的文件修改名

字为 flume，简化操作

5.sudo chown -R hadoop:hadoop ./flume #把/usr/local/flume 目录

的权限赋予当前登录 Linux 系统的用户，这里假设是 hadoop 用户

⑵配置环境变量

1.sudo vim ~/.bashrc

然后在首行加入如下代码：

1.export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64;

2.export FLUME_HOME=/usr/local/flume

3.export FLUME_CONF_DIR=$FLUME_HOME/conf

4.export PATH=$PATH:$FLUME_HOME/bin

注意，上面的 JAVA_HOME，如果以前已经在.bashrc 文件中设置过，就不要重复添加

了，使用以前的设置即可。比如，以前设置得 JAVA_HOME 可能是“export

JAVA_HOME=/usr/lib/jvm/default-java”，则使用原来的设置即可。接下来使环境变量生效：

1.source ~/.bashrc

修改 flume-env.sh 配置文件：

1.cd /usr/local/flume/conf

2.sudo cp ./flume-env.sh.template ./flume-env.sh

3.sudo vim ./flume-env.sh

打开 flume-env.sh 文件以后，在文件的最开始位置增加一行内容，用于设置

JAVA_HOME 变量：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64;

　　

注意，你的JAVA_HOME可能与上面的设置不一致，一定要根据你之前已经安装的Java

路径来设置，比如，有的机器可能是：

export JAVA_HOME=/usr/lib/jvm/default-java

　　

然后，保存 flume-env.sh 文件，并退出 vim 编辑器。

⑶查看 flume 版本信息

1.cd /usr/local/flume

2. ./bin/flume-ng version #查看 flume 版本信息；

安装成功

 

注意：如果系统里安装了 hbase，会出现错误: 找不到或无法加载主类

org.apache.flume.tools.GetJavaProperty。如果没有安装 hbase，这一步可以略过。

1.cd /usr/local/hbase/conf

2.sudo vim hbase-env.sh

1.#1、将 hbase 的 hbase.env.sh 的这一行配置注释掉,即在 export 前加一个#

2.#export HBASE_CLASSPATH=/home/hadoop/hbase/conf

3.#2、或者将 HBASE_CLASSPATH 改为 JAVA_CLASSPATH,配置如下

4.export

JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/t

ools.jar