azkaban做mr调度时报错 Call From SparkMaster/192.168.237.128 to 0.0.0.0:10020 failed on connection except

做点击流项目时,数据清洗后生成pageviews模型和visit模型,需要运行两次mr程序,所以在azkaban中把他俩作为一个job提交,先运行生成pv的mr程序,再去运行生成visit的mr程序(job中添加depandence依赖关系),但是在生成pv时,查看azkaban的web界面中flow的details,发现报错(虽然报错但是生成pv的mr程序运行结果是对的,但是因为前一个任务报错,azkaban会认为执行失败,而没办法去执行下一个任务visit,所以要这个错误解决。也可以把生成pv和visit分成两个job提交给azkaban。):


原因是需要访问hadoop的historyserver,而hadoop的historyserver服务没有启动,所以将其启动即可:在namenode上执行命令:mr-jobhistory-daemon.sh start historyserver   历史服务器 用于记录hadoop运行的日志信息

也可以在在mapred-site.xml配置文件中添加:
<property>  
        <name>mapreduce.jobhistory.address</name>  
        <value>sjfx:10020</value>  
</property>

 

还有,azkaban经常出现各种bug,有时页面刷新不出来,运行时卡顿啊。。。。。但是不影响运行结果。。。

猜你喜欢

转载自blog.csdn.net/qq_32563713/article/details/79315337