kettle集群服务部署

本实验使用的服务器:

127.0.0.1 lixuemei-PC

10.2.2.11 DBM011
10.4.2.12 DBM012
10.2.2.10 DBM010

三、carte相关配置文件说明

本实验开启的四个carte服务,其中一台为Master另外三台为Slave,来实现在Kettle的Spoon中对mysql数据库中数据表读取后,以集群方式来执行排序的过程。

Carte的配置文件所在路径:F:\BDE\kettle\data-integration\pwd

(1)主服务器(carte-config-master-8080.xml)的配置内容为:

  <slaveserver>

   <name>master1</name>

   <hostname>lixuemei-PC</hostname>

   <port>8080</port>

   <master>Y</master>

  </slaveserver>

其中<hostname>lixuemei-PC</hostname>表示以本机作为主服务器。在本机的C:\Windows\System32\drivers\etc\hosts 文件中添加内容:127.0.0.1 lixuemei-PC。相应的其他三个服务器上的hosts文件中也添加内容:10.200.4.163lixuemei-PC。

(2)子服务器(carte-config-8082.xml)的配置内容为:

<masters>



    <slaveserver>

     <name>master1</name>

     <hostname>lixuemei-PC</hostname>

     <port>8080</port>

      <username>cluster</username>

     <password>cluster</password>

     <master>Y</master>

    </slaveserver>



  </masters>



<report_to_masters>Y</report_to_masters>



  <slaveserver>

   <name>slave2-8082</name>

   <hostname>10.2.2.11</hostname>

    <port>8082</port>

   <username>cluster</username>

   <password>cluster</password>

   <master>N</master>

  </slaveserver>

         其中<hostname>10.2.2.11</hostname>为子服务器的ip。

         同样方式设定其他自服务器(carte-config-8083.xml、carte-config-8085.xml)的配置内容。把更改好的windows下的pwd文件夹分别覆盖其他三个服务器上的相应文件夹。

四、carte服务开启

对于Windows运行:Carte.batIP address port

对于Linux运行:carte.shIP address port

图1所示启动windows上的主节点,并已启动成功。












猜你喜欢

转载自caiyeyu.iteye.com/blog/2277333