SIX Spark Streaming 编程初级实践

Posted nclong

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了SIX Spark Streaming 编程初级实践相关的知识,希望对你有一定的参考价值。

Flume 官网下载 Flume1.7.0 安装文件,下载地址如下:
http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz
下载后,把 Flume1.7.0 安装到 Linux 系统的“/usr/local/flume”目录下,
⑴解压安装包
1.cd ~/下载
2.sudo tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local
# 将 apache-flume-1.7.0-bin.tar.gz 解压到/usr/local 目录下,这里一定要
加上-C 否则会出现归档找不到的错误
3.cd /usr/local
4.sudo mv ./apache-flume-1.7.0-bin ./flume #将解压的文件修改名
字为 flume,简化操作
5.sudo chown -R hadoop:hadoop ./flume #把/usr/local/flume 目录
的权限赋予当前登录 Linux 系统的用户,这里假设是 hadoop 用户
⑵配置环境变量
1.sudo vim ~/.bashrc
然后在首行加入如下代码:
1.export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64;
2.export FLUME_HOME=/usr/local/flume
3.export FLUME_CONF_DIR=$FLUME_HOME/conf
4.export PATH=$PATH:$FLUME_HOME/bin
注意,上面的 JAVA_HOME,如果以前已经在.bashrc 文件中设置过,就不要重复添加
了,使用以前的设置即可。比如,以前设置得 JAVA_HOME 可能是“export
JAVA_HOME=/usr/lib/jvm/default-java”,则使用原来的设置即可。接下来使环境变量生效:
1.source ~/.bashrc
修改 flume-env.sh 配置文件:
1.cd /usr/local/flume/conf
2.sudo cp ./flume-env.sh.template ./flume-env.sh
3.sudo vim ./flume-env.sh
打开 flume-env.sh 文件以后,在文件的最开始位置增加一行内容,用于设置
JAVA_HOME 变量:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64;

  

注意,你的JAVA_HOME可能与上面的设置不一致,一定要根据你之前已经安装的Java
路径来设置,比如,有的机器可能是:
export JAVA_HOME=/usr/lib/jvm/default-java

  

然后,保存 flume-env.sh 文件,并退出 vim 编辑器。
⑶查看 flume 版本信息
1.cd /usr/local/flume
2. ./bin/flume-ng version #查看 flume 版本信息;
安装成功
 
注意:如果系统里安装了 hbase,会出现错误: 找不到或无法加载主类
org.apache.flume.tools.GetJavaProperty。如果没有安装 hbase,这一步可以略过。
1.cd /usr/local/hbase/conf
2.sudo vim hbase-env.sh
1.#1、将 hbase 的 hbase.env.sh 的这一行配置注释掉,即在 export 前加一个#
2.#export HBASE_CLASSPATH=/home/hadoop/hbase/conf
3.#2、或者将 HBASE_CLASSPATH 改为 JAVA_CLASSPATH,配置如下
4.export
JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/t
ools.jar
 

以上是关于SIX Spark Streaming 编程初级实践的主要内容,如果未能解决你的问题,请参考以下文章

Spark Streaming核心概念与编程

Dataflow编程模型和spark streaming结合

Ephemeral Spark Streaming..以编程方式关闭

Apache Spark 2.2.0 中文文档 - Spark Streaming 编程指南 | ApacheCN

Apache Spark 2.2.0 中文文档 - Spark Streaming 编程指南 | ApacheCN

Spark Streaming编程指南