如何配置Pentaho Carte集群

Posted BI商业智能自留地

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何配置Pentaho Carte集群相关的知识,希望对你有一定的参考价值。


Carte是一个web服务器,用于远程运行Pentaho的PDI转换和作业。Carte web服务器还用于监视、启动和停止在Carte服务器上运行的转换和作业。运行Carte web服务器的服务器称为从服务器。。让我们看看如何设置一个只有一个主节点和一个从节点的Carte集群。


配置Carte Master Web 服务器

假设您已经Linux服务器上安装了Pentaho的数据集成工具。按照以下步骤设置主服务器:


步骤1:首先在$HOME/.kettle/目录中创建repositories.xml文件。repository.xml文件具有连接到存储元数据的Pentaho 存储库数据库的数据库连接细节。repositories.xml文件的内容如下所示:


<?xml version="1.0" encoding="UTF-8"?>

<repositories>

  <connection>

    <name>REPOSITORY_NAME</name>

    <server>REPOSITORY_DATABASE_HOST_NAME</server>

    <type>DATABASE_TYPE(Ex: mysql)</type>

    <access>Native</access>

    <database>DATABASE_NAME</database>

    <port>PORT_NUMBER</port>

    <username>USERNAME</username>

    <password>PASSWORD</password>

    <servername/>

    <data_tablespace/>

    <index_tablespace/>

    <attributes />

  </connection>

  <repository>

    <id>KettleDatabaseRepository</id>

    <name>REPOSITORY_NAME</name>

    <description>description about the repository</description>

    <connection>REPOSITORY_CONNECTION</connection>

  </repository>

</repositories>

如果您在windows机器上安装了PDI,并且至少连接了一次存储库数据库,那么您可以从windows机器上获得上面的repositories.xml文件。此文件存储在.kettle目录中,该目录可以位于windows用户主目录中。只需复制这个文件并将其粘贴到Linux机器上。


步骤2:创建用于向web服务器进行身份验证的密码文件(kettle.pwd)。默认情况下水壶。pwd文件位于“$PENTAHO_HOME\design-tools\data-integration\pwd”目录中,您只需在该文件中输入用户名和密码,如下图所示:


> vi kettle.pwd

#cluster: OBF:1sot1v8s1y7z1v9u1sox

cluster:cluster

这里的用户名和密码是cluster和cluster。


步骤3:使用Master主机连接细节为Master服务器创建配置文件,如下所示。我在“$PENTAHO_HOME\design-tools\data-integration\pwd”目录中创建了这个文件。你可以在任何地方创建它。


> cat configuration.xml

<slave_config>

        <slaveserver>

                <name>Master</name>

                <hostname>MASTER_HOST_NAME</hostname>

                <port>PORT_NUMBER</port>

                <username>cluster</username>

                <password>cluster</password>

                <master>Y</master>

        </slaveserver>

</slave_config>

您可以在kettle.pwd或configuration.xml文件中指定web服务器的用户名和密码。


步骤4:现在启动Carte Master服务器。启动Carte服务器的命令是

> sh carte.sh pwd\configuration.xml

Windows:

>carte.bat pwd\configuration.xml


配置Carte Slave Web服务器


设置Slave服务器与Master服务器类似。上面的步骤1、2和4对于Slave服务器是完全相同的。只有配置文件(步骤3)有更改。Slave服务器的配置文件是:


<slave_config>

        <masters>

                <slaveserver>

                        <name>Master</name>

                        <hostname>ASTER_HOST_NAME</hostname>

                        <port>PORT_NUMBER</port>

                        <username>cluster</username>

                        <password>cluster</password>

                        <master>Y</master>

                </slaveserver>

        </masters>

        <report_to_masters>Y</report_to_masters>

        <slaveserver>

                <name>SlaveOne</name>

                <hostname>SLAVE_HOST_NAME</hostname>

                <port>PORT_NuMBER</port>

                <username>cluster</username>

                <password>cluster</password>

                <master>N</master>

        </slaveserver>

</slave_config>


您已经拥有一个Master服务器和一个Slave服务器组成的Carte集群。您可以设置了尽可能多的Slave。无论何时设置新的Slave服务器,都不需要重新启动Master服务器。


转载是一种动力 分享是一种美德


以上是关于如何配置Pentaho Carte集群的主要内容,如果未能解决你的问题,请参考以下文章

pentaho 数据集成:执行 PDI BI Server 还是使用 carte?

源码分析 – JAVA 通过 kettle 官方api创建Carte集群

Pentaho Kettle 6.1连接CDH5.4.0集群

如何激活Pentaho CTools功能属性

Windows下Kettle-7.0集群安装

kettle 8 导出数据Hadoop File Output上传到集群比较慢