kettle-8.3.0.0:定时任务(后台任务)

前面我们介绍了 Kettle的Spoon的转换和作业定时任务GUI设计方式以及运行,但是在实际应用中,我们需要计划任务是在服务器后台运行。

首先我们需要了解Kettle的Kitchen和Pan:
Kitchen——作业(job)执行器 (命令行方式)
Pan——转换(trasform)执行器 (命令行方式)

下面我们将重点讲解经常会用到的 ***作业执行器 kitchen.sh *** 。

参数名列表:
/rep : 资源库名称
/user : 资源库用户名
/pass : 资源库密码
/trans : 要启动的转换名称
/dir : 目录(不要忘了前缀 /)
/file : 要启动的文件名(转换文件)
/level : 日志级别 (Error, Nothing, Minimal, Basic , Detailed, Debug, Rowlevel)
/logfile : 要写入的日志文件
/listdir : 列出资源库里的目录
/listtrans : 列出指定目录下的转换
/listrep : 列出可用资源库
/exprep : 将资源库里的所有对象导出到 XML 文件中
/norep : 不要将日志写到资源库中
/safemode : 安全模式下运行: 有额外的检查
/version : 显示转换的版本,校订和创建日期
/param : 设置参数,参数格式<NAME>=<VALUE>,例如-param:FOO=bar
/listparam: 列出转换里已经设置好的参数。
/maxloglines:内存中保存日志的最大日志行数
/maxlogtimeout:内存中保存日志的最长时间

命令行执行配置方式(后台运行)

1、新建一个sh文件,命名job.sh,然后编辑,输入内容如下:

cd /bigdata/kettle-8.3.0.0
./kitchen.sh -file=/Users/mac/Desktop/简单表同步.kjb >> /bigdata/kettle-8.3.0.0/test.log &

注意:确保路径的正确性。

2、使用sh job.sh命令,即可运行。

3. 然后这个文件在crontab中去执行(或者使用调度框架

 

我们将不会再看到控制台黑窗口继续保留在桌面上,并且等待设置的间隔时间后,我们可以看到日志文件记录。

2019/12/26 00:48:21 - Kitchen - Start of run.
00:51:06,304 INFO  [KarafBoot] Checking to see if org.pentaho.clean.karaf.cache is enabled
00:51:06,378 INFO  [KarafInstance]
*******************************************************************************
*** Karaf Instance Number: 2 at /wangqingguo/bigdata/kettle-8.3.0.0/./syste ***
***   m/karaf/caches/kitchen/data-1                                         ***
*** FastBin Provider Port:52902                                             ***
*** Karaf Port:8803                                                         ***
*** OSGI Service Port:9052                                                  ***
*******************************************************************************
2019/12/26 00:51:06 - Kitchen - Start of run.
Creating configuration from org.apache.karaf.command.acl.feature.cfg
Creating configuration from jmx.acl.cfg
Creating configuration from org.apache.karaf.command.acl.scope_bundle.cfg
Creating configuration from org.apache.karaf.webconsole.cfg
Creating configuration from org.apache.karaf.features.cfg
Creating configuration from org.pentaho.caching-default.cfg
Creating configuration from pentaho.big.data.impl.cluster.cfg
Creating configuration from pentaho.metaverse.cfg
Creating configuration from org.apache.karaf.command.acl.config.cfg
Creating configuration from org.apache.karaf.command.acl.system.cfg
Creating configuration from jmx.acl.osgi.compendium.cm.cfg
Creating configuration from org.apache.karaf.kar.cfg
Creating configuration from org.ops4j.pax.logging.cfg
Creating configuration from org.ops4j.pax.web.cfg
Creating configuration from org.apache.karaf.management.cfg
Creating configuration from org.apache.karaf.log.cfg
Creating configuration from org.apache.karaf.jaas.cfg
Creating configuration from org.apache.karaf.features.repos.cfg
Creating configuration from org.apache.activemq.server-default.cfg
Creating configuration from org.apache.activemq.webconsole.cfg
Creating configuration from jmx.acl.org.apache.karaf.bundle.cfg
Creating configuration from jmx.acl.org.apache.karaf.config.cfg
Creating configuration from org.ops4j.pax.url.mvn.cfg
Creating configuration from org.apache.karaf.command.acl.bundle.cfg
Creating configuration from jmx.acl.org.apache.karaf.security.jmx.cfg
Creating configuration from org.apache.karaf.features.obr.cfg
Creating configuration from org.pentaho.pdi.engine.spark.cfg
Creating configuration from jmx.acl.java.lang.Memory.cfg
Creating configuration from org.apache.karaf.command.acl.shell.cfg
Creating configuration from org.apache.felix.fileinstall-deploy.cfg
Creating configuration from pentaho.geo.roles.cfg
Creating configuration from org.apache.karaf.command.acl.jaas.cfg
Creating configuration from org.apache.karaf.shell.cfg
Creating configuration from pentaho.marketplace.di.cfg
Creating configuration from mondrian.cfg
Creating configuration from org.apache.aries.rsa.provider.fastbin.cfg
Creating configuration from org.apache.karaf.command.acl.kar.cfg
Creating configuration from org.pentaho.features.cfg
2019/12/26 00:51:27 - 简单表同步 - 开始执行任务
2019/12/26 00:51:27 - Carte - Installing timer to purge stale objects after 1440 minutes.
2019/12/26 00:51:27 - 简单表同步 - 简单表同步
发布了378 篇原创文章 · 获赞 19 · 访问量 16万+

猜你喜欢

转载自blog.csdn.net/qq_32252917/article/details/103707610
今日推荐