kettle在centos7下部署分布式集群
Posted 百里登风
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kettle在centos7下部署分布式集群相关的知识,希望对你有一定的参考价值。
首先安装三台centos7 ,分别配置好静态ip ssh免密码登录 关闭防火墙
具体步骤这里不多说了
关于centos7配置静态ip大家可以参考:https://www.cnblogs.com/braveym/p/8523100.html
我这里已经安装好了,我是在虚拟机里面装了三个节点
我这里通过xshell远程工具来连接的
先把主机名和ip地址映射配置好
另外两个节点也是这样做,在这里不多赘述了。
修改一下权限
加上这么一句话
修改完之后把文件的权限恢复过来
另外两节点也一样操作。
创建目录
[kettle@kettlemaster ~]$ sudo mkdir /opt/softwares [kettle@kettlemaster ~]$ sudo mkdir /opt/modules [kettle@kettlemaster ~]$ sudo mkdir /opt/tools [kettle@kettlemaster ~]$ sudo mkdir /opt/datas [kettle@kettlemaster ~]$ cd /opt/ [kettle@kettlemaster opt]$ ls datas modules rh softwares tools [kettle@kettlemaster opt]$ ll total 0 drwxr-xr-x. 2 root root 6 Sep 29 10:55 datas drwxr-xr-x. 2 root root 6 Sep 29 10:55 modules drwxr-xr-x. 2 root root 6 Mar 26 2015 rh drwxr-xr-x. 2 root root 6 Sep 29 10:55 softwares drwxr-xr-x. 2 root root 6 Sep 29 10:55 tools [kettle@kettlemaster opt]$ sudo chown -R kettle:kettle /opt/* [kettle@kettlemaster opt]$ ll total 0 drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 datas drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 modules drwxr-xr-x. 2 kettle kettle 6 Mar 26 2015 rh drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 softwares drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 tools [kettle@kettlemaster opt]$
其他两个节点也是一样的操作。
下面安装jdk
先在本地上传一个jdk的安装包
解压
[kettle@kettlemaster softwares]$ pwd /opt/softwares [kettle@kettlemaster softwares]$ tar -zxf jdk-8u60-linux-x64.tar.gz -C /opt/modules/ [kettle@kettlemaster softwares]$ cd ../modules/ [kettle@kettlemaster modules]$ ls jdk1.8.0_60 [kettle@kettlemaster modules]$
配置jdk的环境变量
#java export JAVA_HOME=/opt/modules/jdk1.8.0_60 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin
使其环境变量生效
[kettle@kettlemaster modules]$ sudo source /etc/profile sudo: source: command not found [kettle@kettlemaster modules]$ su Password: [root@kettlemaster modules]# source /etc/profile [root@kettlemaster modules]# java -version openjdk version "1.8.0_131" OpenJDK Runtime Environment (build 1.8.0_131-b12) OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode) [root@kettlemaster modules]#
我们把jdk分发到另外两个节点
scp -r jdk1.8.0_60/ kettleslave1:/opt/modules/
scp -r jdk1.8.0_60/ kettleslave2:/opt/modules/
分别给另外两个节点配置环境变量,具体操作跟前面的一样,这里我不多说了。
Kettle的安装
先把kettle的安装包上传上来,然后解压
[kettle@kettlemaster softwares]$ ls jdk-8u60-linux-x64.tar.gz pdi-ce-7.1.0.0-12.zip [kettle@kettlemaster softwares]$ unzip pdi-ce-7.1.0.0-12.zip -p /opt/modules/
我们可以进来看看
我们开始配置kettle
这个地方配置你主节点的ip地址
<slaveserver>
<name>master1</name>
<hostname>192.168.86.11</hostname>
<port>8080</port>
<master>Y</master>
</slaveserver>
<masters> <slaveserver> <name>master1</name> <hostname>192.168.86.11</hostname> <port>8080</port> <username>cluster</username> <password>cluster</password> <master>Y</master> </slaveserver> </masters> <report_to_masters>Y</report_to_masters> <slaveserver> <name>slave1-8081</name> <hostname>192.168.86.12</hostname> <port>8081</port> <username>cluster</username> <password>cluster</password> <master>N</master> </slaveserver> </slave_config>
<masters> <slaveserver> <name>master1</name> <hostname>192.168.86.11</hostname> <port>8080</port> <username>cluster</username> <password>cluster</password> <master>Y</master> </slaveserver> </masters> <report_to_masters>Y</report_to_masters> <slaveserver> <name>slave2-8082</name> <hostname>192.168.86.13</hostname> <port>8082</port> <username>cluster</username> <password>cluster</password> <master>N</master> </slaveserver> </slave_config>
我这里是搭建的三节点集群,所以我就配置了三个,当然也可以配置5节点,4节点了。
大家可以根据自己的需要去配置。
现在把配置好的kettle分发给另外两节点
[kettle@kettlemaster modules]$ scp -r data-integration/ kettleslave1:/opt/modules/
[kettle@kettlemaster modules]$ scp -r data-integration/ kettleslave2:/opt/modules/
在主节点上启动一下服务
在浏览器打开http://192.168.86.11:8080/这个地址,其中账号密码都是cluster
表示master启动成功。
同样的在从节点也启动一下服务
在浏览器打开地址http://192.168.86.12:8081/,账号密码也是cluster
另一个从节点启动也是一样的
在浏览器打开地址http://192.168.86.13:8082/
以上是关于kettle在centos7下部署分布式集群的主要内容,如果未能解决你的问题,请参考以下文章