dolphinscheduler配置hadoop后执行脚本报错ERROR:Cannot execute /opt/soft/hadoop/libexec/hadoop-config.sh

问题描述：
根据文档正常配置完dolphinscheduler后启动执行shell命令，而shell命令为sqoop脚本抽取mysql数据到Hdfs上。
在这里插入图片描述
一开始报找不到$HADOOP_HOME $HADOOP_CONF_DIR后添加如下环境变量 vim /etc/profile

export HADOOP_HOME=/usr/hdp/3.1.4.0-315/hadoop
export HADOOP_CONF_DIR=/usr/hdp/3.1.4.0-315/hadoop/etc/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME

dolphinscheduler配了 $HADOOP_COMMON_HOME hadoop安装根目录

无论怎么配这个dolphinscheduler一直都找/opt/soft位置下部署的hadoop。

解决办法：

由于我是hdp部署的集群，将hadoop安装根目录链接到/opt/soft/目录即可。

ln -s  /usr/hdp/3.1.4.0-315/hadoop/  /opt/soft/

重跑后任务执行成功
在这里插入图片描述

dolphinscheduler配置hadoop后执行脚本报错ERROR:Cannot execute /opt/soft/hadoop/libexec/hadoop-config.sh

Guess you like