kettle在centos7下部署分布式集群

Posted 百里登风

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kettle在centos7下部署分布式集群相关的知识,希望对你有一定的参考价值。

首先安装三台centos7 ,分别配置好静态ip    ssh免密码登录     关闭防火墙

具体步骤这里不多说了

关于centos7配置静态ip大家可以参考:https://www.cnblogs.com/braveym/p/8523100.html

 

我这里已经安装好了,我是在虚拟机里面装了三个节点

 

我这里通过xshell远程工具来连接的

 

 先把主机名和ip地址映射配置好

 

 

 另外两个节点也是这样做,在这里不多赘述了。

 

修改一下权限

 

 加上这么一句话

修改完之后把文件的权限恢复过来

 另外两节点也一样操作。

 

创建目录

 

 

[kettle@kettlemaster ~]$ sudo mkdir /opt/softwares
[kettle@kettlemaster ~]$ sudo mkdir /opt/modules
[kettle@kettlemaster ~]$ sudo mkdir /opt/tools
[kettle@kettlemaster ~]$ sudo mkdir /opt/datas
[kettle@kettlemaster ~]$ cd /opt/
[kettle@kettlemaster opt]$ ls
datas  modules  rh  softwares  tools
[kettle@kettlemaster opt]$ ll
total 0
drwxr-xr-x. 2 root root 6 Sep 29 10:55 datas
drwxr-xr-x. 2 root root 6 Sep 29 10:55 modules
drwxr-xr-x. 2 root root 6 Mar 26  2015 rh
drwxr-xr-x. 2 root root 6 Sep 29 10:55 softwares
drwxr-xr-x. 2 root root 6 Sep 29 10:55 tools
[kettle@kettlemaster opt]$ sudo chown -R kettle:kettle /opt/*
[kettle@kettlemaster opt]$ ll
total 0
drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 datas
drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 modules
drwxr-xr-x. 2 kettle kettle 6 Mar 26  2015 rh
drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 softwares
drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 tools
[kettle@kettlemaster opt]$ 

 其他两个节点也是一样的操作。

 

 

下面安装jdk

 先在本地上传一个jdk的安装包

 

 解压

[kettle@kettlemaster softwares]$ pwd
/opt/softwares
[kettle@kettlemaster softwares]$ tar -zxf jdk-8u60-linux-x64.tar.gz -C /opt/modules/
[kettle@kettlemaster softwares]$ cd ../modules/
[kettle@kettlemaster modules]$ ls
jdk1.8.0_60
[kettle@kettlemaster modules]$ 

 

 

 配置jdk的环境变量

 

 

 

#java
export JAVA_HOME=/opt/modules/jdk1.8.0_60
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

 

 使其环境变量生效

[kettle@kettlemaster modules]$ sudo source /etc/profile
sudo: source: command not found
[kettle@kettlemaster modules]$ su
Password: 
[root@kettlemaster modules]# source /etc/profile
[root@kettlemaster modules]# java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
[root@kettlemaster modules]# 

 

 

我们把jdk分发到另外两个节点

scp -r jdk1.8.0_60/ kettleslave1:/opt/modules/

scp -r jdk1.8.0_60/ kettleslave2:/opt/modules/

分别给另外两个节点配置环境变量,具体操作跟前面的一样,这里我不多说了。

 

 

Kettle的安装

先把kettle的安装包上传上来,然后解压

[kettle@kettlemaster softwares]$ ls
jdk-8u60-linux-x64.tar.gz  pdi-ce-7.1.0.0-12.zip
[kettle@kettlemaster softwares]$ unzip pdi-ce-7.1.0.0-12.zip -p /opt/modules/

 

 

 

 

我们可以进来看看

 

 我们开始配置kettle

 

这个地方配置你主节点的ip地址

 <slaveserver>
    <name>master1</name>
    <hostname>192.168.86.11</hostname>
    <port>8080</port>
    <master>Y</master>
  </slaveserver>

 

 

 

 

 

  <masters>

    <slaveserver>
      <name>master1</name>
      <hostname>192.168.86.11</hostname>
      <port>8080</port>
      <username>cluster</username>
      <password>cluster</password>
      <master>Y</master>
    </slaveserver>

  </masters>

  <report_to_masters>Y</report_to_masters>

  <slaveserver>
    <name>slave1-8081</name>
    <hostname>192.168.86.12</hostname>
    <port>8081</port>
    <username>cluster</username>
    <password>cluster</password>
    <master>N</master>
  </slaveserver>


</slave_config>

 

 

 

  <masters>

    <slaveserver>
      <name>master1</name>
      <hostname>192.168.86.11</hostname>
      <port>8080</port>
      <username>cluster</username>
      <password>cluster</password>
      <master>Y</master>
    </slaveserver>

  </masters>

  <report_to_masters>Y</report_to_masters>

  <slaveserver>
    <name>slave2-8082</name>
    <hostname>192.168.86.13</hostname>
    <port>8082</port>
    <username>cluster</username>
    <password>cluster</password>
    <master>N</master>
  </slaveserver>


</slave_config>

 

 

 我这里是搭建的三节点集群,所以我就配置了三个,当然也可以配置5节点,4节点了。

 

大家可以根据自己的需要去配置。

 

现在把配置好的kettle分发给另外两节点

[kettle@kettlemaster modules]$ scp -r data-integration/ kettleslave1:/opt/modules/
[kettle@kettlemaster modules]$ scp -r data-integration/ kettleslave2:/opt/modules/

 

 

在主节点上启动一下服务

 

 

 

 在浏览器打开http://192.168.86.11:8080/这个地址,其中账号密码都是cluster

 

 

 

 

 表示master启动成功。

 

 

同样的在从节点也启动一下服务

 

 

 

 在浏览器打开地址http://192.168.86.12:8081/,账号密码也是cluster

 

 

另一个从节点启动也是一样的

 

 

 

 在浏览器打开地址http://192.168.86.13:8082/

 

 

 

 

以上是关于kettle在centos7下部署分布式集群的主要内容,如果未能解决你的问题,请参考以下文章

KETTLE完全分布式集群搭建和示例

CentOS7下Elasticsearch集群部署记录

Centos7安装部署Hadoop集群

Centos7安装部署Hadoop集群

Centos7下ELK+Redis日志分析平台的集群环境部署记录

CentOS7 下 Hadoop 分布式部署