版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/anitinaj/article/details/80902056
Lost executor
node
丢失原因：
1
、有时候是物理机导致的
node
暂时丢失，物理机恢复后
容器也自己恢复。如io过高
2
、另一种就是物理机故障了
容器真丢了
异常信息：
1
、
ERROR cluster.YarnScheduler: Lost executor
2
、
ERROR client.TransportClient: Failed to send RPC
3
、
WARN storage.BlockManagerMaster: Failed to remove RDD
4
、
ERROR cluster.YarnScheduler: Lost executor 1 on 172.18.13.24: Slave lost
原因分析：
1
、
yarn
资源不够导致
2
、节点内存分配少，
yarn kill
了
spark application
3
、
RDD
太大，导致内存不够
4
、网络太差导致
5
、
Lost executor
解决方案：
1
、
spark.executor.extraJavaOptions=-XX:MaxPermSize=1024M" --driver-java-options -XX:MaxPermSize=1024m
2
、增加
executor
内存
3
、
-Dspark.akka.frameSize=10000