SparkSteaming程序异常问题排查步骤
程序运行环境：Spark on yarn cluster环境
异常问题排查步骤：
1.首先在yarn页面查看程序的运行情况，点击running页面查看程序是否掉线。
2.不掉线的情况,点击上图的 Tracking UI对应的：ApplicationMaster进入任务详细信息页面 ，查看jobs 和Streaming页面查看是否正常。
3.如果程序有问题，在Streaming页面就可以此批次下的异常记录进行排查。
上图为正常情况，未贴上异常问题图片，如有问题此批次下就可看异常明显。
4.此外也可以通过其他方法查看
（1） 通过Executors页面查看,此页面可以查看driver和executor上运行的报错信息。
因有时在页面上查看异常时，可能偶遇页面无法打开的情况，顾需要了解如何在服务器上查看log
(2)服务器上查看log
1.首先通过上图Executor页面，可以知道driver对应的地址，假如为172.34.3.12,登录此台服务器。切换为yarn 用户：su - yarn
在yarn用户下，使用jps -m | grep Application_id 查找此application的进程。此时会发现运行在此服务器上的applicationMaster也及driver. 确认此applicationMaster运行在此服务器上，使用：find /hadoop/yarn -name app.log查找对应的 application_id运行的app.log文件，查看程序运行情况，注意，如果程序停止后此log也会丢失。默认的app.log的 地址：hadoop/yarn/local/usercache/spark/appcache/application_1542545489360_9520/container_e28_1542545489360_9520_01_000001/log/app.log
2.可以查看其excutor 的运行log,如上图executor id=1, 找到对应的ip地址，到此服务器上。切换为yarn 用户：su - yarn ,使用jps -m | grep Application_id 查找此application的进程，此时运行的是CoarseGrainedExecutorBackend，这是executor的守户进程。确认此application_id运行的executor后，在/hadoop/yarn/log/可以查看Executor 上执行Application的log信息，默认地址：cd /hadoop/yarn/log/application_1542545489360_9520/container_e28_1542545489360_9520_01_000002
在此目录下会有：directory.info launch_container.sh stderr stdout 在stderr中查看log信息。