flink1.12.4 parcel包集成到 CDH 6.3.0

Posted 2021-05-23 Abram_G

环境

1. Ubuntu 20.04
2. jdk1.8
3. maven3.6
4. python2.7
5. 用到的rpm包 https://share.weiyun.com/7KDR8C56

JDK1.8安装

#安装jdk1.8
rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

#环境变量设置
vim /etc/profile

#加入以下代码
#java
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/
export PATH=$JAVA_HOME/bin:$PATH

#验证 命令行输入
java -version

显示以下信息，即java环境已配置好。

 

 

 

MAVEN3.6安装

#解压安装包
gunzip -c apache-maven-3.6.3-bin.tar.gz | tar xvf -

#移动到usr目录
mv apache-maven-3.6.3 /usr/

#新增环境变量
vim /etc/profile

#文件末尾加入以下信息
#maven
export M2_HOME=/usr/apache-maven-3.6.3/
export M2=$M2_HOME/bin
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$M2_HOME/bin:$PATH

#验证 命令行输入
mvn -version

显示以下信息，即maven环境已配置好。

 

 

Python2.7

#Ubuntu20.04 命令
sudo apt-get install python -y

#验证 命令行输入
python --version

显示以下信息，即python2.7环境已配置好。

 

 

 

 git

#git安装命令
sudo apt-get install -y git

#验证
git --version

显示以下信息，即git环境已配置好。

 

 

 编译parcel包

#克隆代码
git clone https://gitee.com/abram-guo/flink-parcel-master.git

有兴趣可以去看，源码githun地址
https://hub.fastgit.org/bingoguo93/flink-parcel-master.git
建议代码使用gitee的地址，速度快些

#进入项目目录
cd flink-parcel-master

#修改flink-parcel.properties配置文件
vim flink-parcel.properties

#FLINk 下载地址
FLINK_URL=  https://ftp.kddi-research.jp/infosystems/apache/flink/flink-1.12.4/flink-1.12.4-bin-scala_2.11.tgz

#flink版本号
FLINK_VERSION=1.12.4

#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.11

#操作系统版本，以centos为例
OS_VERSION=7

#CDH 小版本
CDH_MIN_FULL=5.13
CDH_MAX_FULL=6.3

#CDH大版本
CDH_MIN=5
CDH_MAX=6

注意这里的环境信息和自己的环境要对应上

环境和我一样，centos7 cdh6.0.0 - cdh6.3.0可不用修改配置文件

#操作系统版本，以centos为例，这里代表了centos7，centos6的需要改为6
OS_VERSION=7

#CDH 小版本  cdh5的版本建议修改为5.10-5.13，版本范围需要包含你的cdh版本
CDH_MIN_FULL=5.13
CDH_MAX_FULL=6.3

#CDH大版本   cdh5的建议全部修改为5
CDH_MIN=5
CDH_MAX=6

#进入项目目录
cd flink-parcel-master

#编译parcel包
./build.sh parcel

等待即可

出现以下即编译成功

 

 

 

#parcel包在项目目录下的build文件夹里
ll ./FLINK-1.12.4-BIN-SCALA_2.11_build

 

 

 CSD包编译

#进入项目目录
cd flink-parcel-master

#编译parcel包
./build.sh csd

出现以下则编译成功

 

 

#csd包在项目目录下
ll .

 

 

源码来自GitHub仓库：https://github.com/EvenGui/flink-parcel-master

源码作者的教程：https://blog.csdn.net/guiyifei/article/details/109325980

本人修改了小部分脚本，只是方便编译使用

GitHub仓库：https://github.com/bingoguo93/flink-parcel-master