作者：浪尖
原文链接
本文转载自公众号：Spark学习技巧
马上要过年了，大部分公司这个时候都不会再去谋求开新业务，而大数据工匠们，想要过好年，就要保证过年期间自己对自己的应用了如执掌。一般公司都会有轮值人员，至少要有春节应急预案，尤其是对于我们这些搞平台，或者线上应用的，应急预案更是必不可少。今天浪尖主要是分享一下关于在yarn上的spark 任务我们应该做哪些监控，如何监控。
Spark on yarn这种应用形态目前在企业中是最为常见的，对于这种spark的任务，浪尖觉得大家关心的指标大致有：app存活，spark streaming的job堆积情况，job运行状态及进度，stage运行进度，rdd缓存监控，内存监控等。
其实，春节最为重要的就是app存活了，春节期间各大应用应该都会有一部分数据增量，那么实际上就需要我们的程序能有一定