1 개 세부 이상
오류 scheduler.JobScheduler : 오류 실행중인 작업 작업을 스트리밍 1559791512000 밀리. 0 org.apache.spark.SparkException는 : 작업으로 인해 무대 장애로 중단 : 작업 0 에서 단 0.0 실패 4 , 시간을
잃어버린 작업 : 가장 최근의 실패 0.3 의 단계 0.0 (TID 8 , 집행 5 ) : ExecutorLostFailure (집행 (5)가 발생 종료 이유) 실행중인 작업 중 하나가 : 집행자 하트 비트는 타임 아웃 후 140927 MS의 드라이버 스택 트레이스 : : org.apache.spark.scheduler.DAGScheduler.org $ 아파치 $ 스파크 $ 스케줄러 $ DAGScheduler $ failJobAndIndependentStages (DAGScheduler.scala에서 1887 ) org.apache.spark.scheduler.DAGScheduler $$ anonfun $ abortStage $에서 1 DAGScheduler (.apply .scala : 1875 ) org.apache.spark.scheduler.DAGScheduler $$ anonfun $ abortStage $에서 1 .apply (DAGScheduler.scala : 1874 ) scala.collection.mutable.ResizableArray $의에 클래스 . foreach는 (ResizableArray.scala : 59 ) scala.collection.mutable.ArrayBuffer에서. foreach는 (ArrayBuffer.scala : 48 ) : org.apache.spark.scheduler.DAGScheduler.abortStage (DAGScheduler.scala에서 1874 ) org.apache.spark.scheduler.DAGScheduler $$ anonfun $ handleTaskSetFailed $에서 1 .apply (DAGScheduler.scala를 : 926 ) org.apache에서. spark.scheduler.DAGScheduler $$ anonfun $ handleTaskSetFailed $ (1) .apply (DAGScheduler.scala : 926 ) scala.Option에 있습니다. foreach는 (Option.scala : 257 ) org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed에서 (DAGScheduler.scala : 926 ) org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive (DAGScheduler.scala 일 : 2108 ) : org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive (DAGScheduler.scala에서 2057 ) org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive (DAGScheduler.scala 일 : 2046 ) org.apache.spark.util.EventLoop에서 $$ 곧 $ (1) : .RUN (EventLoop.scala 49 ) : org.apache.spark.scheduler.DAGScheduler.runJob (DAGScheduler.scala에서 737 ) : org.apache.spark.SparkContext.runJob (SparkContext.scala에서 2061 ) 조직에서 .apache.spark.SparkContext.runJob (SparkContext.scala : 2082 ) org.apache.spark.SparkContext.runJob (SparkContext.scala 일 : 2101 ) : org.apache.spark.SparkContext.runJob (SparkContext.scala에 2126 ) org.apache.spark.rdd.RDD $$ anonfun $ foreachPartition $에 1 .apply (RDD.scala : 935 ) org.apache.spark합니다. rdd.RDD $$ anonfun $ foreachPartition $ 1 .apply을 (RDD.scala : 933 ) org.apache.spark.rdd.RDDOperationScope $ .withScope (RDDOperationScope.scala 님 151 ) org.apache.spark.rdd.RDDOperationScope $으로 행 .withScope (RDDOperationScope.scala : 112 ) org.apache.spark.rdd.RDD.withScope (RDD.scala 님 363 ) org.apache.spark.rdd.RDD.foreachPartition (RDD.scala 님 933 ) com.wm.bigdata.phoenix.etl.WmPhoniexEtlToHbase $$ anonfun $ 주에 $ 1 .apply (WmPhoniexEtlToHbase.scala : 108 ) com.wm.bigdata.phoenix.etl.WmPhoniexEtlToHbase $$ anonfun $에서 메인 $ 1 .apply ( WmPhoniexEtlToHbase.scala : 102 ) org.apache.spark.streaming.dstream.DStream $$ anonfun $ foreachRDD에 $ 1 $$ anonfun $는 $ MCV $ SP 적용 $ 3 : .apply (DStream.scala 628 ) org.apache에서. spark.streaming.dstream.DStream $$ anonfun $ foreachRDD $ 1 $$ anonfun $ $ MCV $ SP 적용 $ 3 : .apply (DStream.scala 628 ) org.apache.spark.streaming.dstream.ForEachDStream $$ anonfun에서 $1 $$ anonfun $ $ MCV $ SP 적용 $ 1 .apply $ $ MCV의 SP (ForEachDStream.scala : 51 ) org.apache.spark.streaming.dstream.ForEachDStream $$ anonfun에 $ 1 $$ anonfun $ 적용 $의 MCV의 $ SP $ 1 .apply (ForEachDStream.scala : 51 ) org.apache.spark.streaming.dstream.ForEachDStream $$ anonfun $에서 1 $$ anonfun $ $ MCV $ SP $ 적용 1 : .apply (ForEachDStream.scala 51 ) 에서 org.apache.spark.streaming.dstream.DStream.createRDDWithLocalProperties (DStream.scala : 416 ) org.apache.spark.streaming.dstream.ForEachDStream $$ anonfun $에서 1 .apply $ MCV $ SP (ForEachDStream.scala :50 ) org.apache.spark.streaming.dstream.ForEachDStream $$ anonfun에 $ 1 .apply (ForEachDStream.scala : 50 ) org.apache.spark.streaming.dstream.ForEachDStream $$ anonfun에 $ 1 .apply (ForEachDStream. : 스칼라 50 ) scala.util.Try $ .apply에서 (Try.scala : 192 ) org.apache.spark.streaming.scheduler.Job.run에서 (Job.scala : 39 ) org.apache.spark.streaming에서. scheduler.JobScheduler $ JobHandler $$ anonfun $ $ 실행 일을 .apply $ MCV $ 특검팀 (JobScheduler.scala : 257 ) 실행 org.apache.spark.streaming.scheduler.JobScheduler $ JobHandler $$ anonfun $에서 $ 1.apply (JobScheduler.scala : 257 ) org.apache.spark.streaming.scheduler.JobScheduler $ JobHandler $$ anonfun $에서는 $ 실행 1 : .apply (JobScheduler.scala 257 ) scala.util.DynamicVariable.withValue에서 (DynamicVariable을. 스칼라 : 58 ) org.apache.spark.streaming.scheduler.JobScheduler $ JobHandler.run (JobScheduler.scala에서 : 256 ) java.util.concurrent.ThreadPoolExecutor.runWorker에서 (ThreadPoolExecutor.java : 1,149 ) java.util.concurrent에서의 : .ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java 624 ) java.lang.Thread.run에서 (Thread.java : 748 )
Q & 2 스택 오버플 내부 질의
3 해결
제출 스파크가 작업을 제출하면 시간 제한 설정을 증가
--conf spark.network.timeout 10000000 --conf spark.executor.heartbeatInterval = 10000000 --conf spark.driver.maxResultSize = 4g