如何设置定时任务(spark-submit,crontab)?

设置定时任务,让脚本定时执行,在Linux中,spark-submit提交任务时,可使用crontab来实现。

1. 假设已经安装了crontab;
2. 创建sh文件,存放需要执行的spark-submit命令,如:

sh文件
(1)切换到脚本所在的路径;
(2)spark-submit的路径要写全;
(3)master地址,我这里随便写的;
(4)要执行的脚本名;
(5)如果是在windows系统上写完run.sh文件后传到服务器上执行,要注意将dos转为unix格式,否则可能会报错;如unix不支持win里的换行符;
3. 编辑crontab;
(1)crontab -e
即进入vim界面(可百度vim命令的用法);
(2)键盘英文状态下按”i”,会显示—INSERT–,输入命令即可,如
在这里插入图片描述
在每月的15号,13:14分跑/home/example路径下的run.sh文件,并把日志输出到/home/example路径下的run.log中;
(3)按esc,然后输入大写的”ZZ“,保存并退出vim界面;
(4)输入crontab –e 或 crontab -l查看是否编辑成功;

定时任务设置完成。
我没有引入环境变量也设置成功了,所以我还不会怎么引入环境变量。

猜你喜欢

转载自blog.csdn.net/leitouguan8655/article/details/82790373
今日推荐