DataWorks2.0调度参数配置小议

概述

Dataworks的参数配置功能帮助您的任务在自动周期运行时能动态适配环境变化,本文主要介绍使用最新的DataStudio工具在配置参数及调试过程中需要注意的事项。


参数生效问题

这个问题是个特别需要注意的问题,在完成参数配置后进行保存,直接运行测试发现参数并未完成替换,且不生效,提交节点后在运维中心中使用冒烟测试的方式才能生效。

参数说明

  • ${bdp.system.cyctime}:定义为一个实例的定时运行时间,默认格式为yyyymmddhh24miss;
  • ${bdp.system.bizdate}:定义为一个实例计算时对应的业务日期,业务日期默认为运行日期的前一天,默认以yyyymmdd的格式显示;
  • 如果{}参数,就是以bizdate为基准参与运算。示例:前N月:${yyyymm-N};
  • 如果是[]参数,是以cyctime为基准参与运行。

实验测试

DDPS SQL测试
  • 参数设置
    1
  • 直接运行日志
    2
  • 运维中心冒烟测试
    3
shell测试
  • 参数设置
    2_1
  • 直接运行测试(运行中显示指定参数)
    2_2
  • 冒烟测试
    2_3

总结

1、参数配置测试情况可以参考上面的测试进行合理的预配置,如在SQL中写死固定常量值进行测试;
2、如果需要测试验证配置的有效性,请在冒烟测试中进行;
3、配置的即时是系统参数也不要在代码中直接指定,最好配置后再在SQL或shell中使用;
4、关于参数的细节及配置,请参考官方链接

猜你喜欢

转载自yq.aliyun.com/articles/675083