지구력 화 j 자

은닉처

• 캐시 () = (StroageLevel.MEMROY_ONLY)을 (유지) = 지속

수동으로 지속성의 수준을 지정할 수 있습니다 지속

• 지속 (StorageLevel.MEMORY_ONLY)
• MEMORY_ONLY_SER
• MEMORY_AND_DISK
• MEMORY_AND_DISK_SER
  • 참고 :
    • DISK_ONLY 수준을 사용하지 않도록하십시오
    • "_2"수준을 사용하지 않도록하십시오

캐시의 사용을 참고 사항을 계속 :

• 캐시 및 최소 단위 파티션을 유지, 그것은 지연 실행 운영자 동작은 트리거가 실행될 필요
• RDD 캐시의 사용 후 또는 유지, 변수에 할당 할 수있는 변수는 영구 데이터의 다음 사용은 바로
• 운영자는 캐시 후 활동을 유지하고 지속 할 수
• 응용 프로그램이 영구 데이터의 완료가 삭제됩니다 후 실행하면

검문소

• 데이터가 디스크에 지속 될 수있다, 또한 RDD 사이의 의존성을 줄일 수 있습니다
• 혈통은 매우 길고 복잡한 계산하면 응용 프로그램이 완료되면, 당신은 지속성을 위해 RDD에 체크 포인트를 사용할 수 있습니다
• 체크 포인트 데이터는 삭제되지 않습니다
  • 체크 포인트 구현 과정
    • 액션이 응용 프로그램이 수행해야 할 때 트리거 후 작업은 뒤에서 앞으로 이동합니다 3 완료
    • 체크 포인트 마크 RDD 돌아 가야 무엇이다
    • 다시 완료가 checkpoint'RDD 데이터를 재 계산 한 후, 그 결과를 지정된 디렉토리 체크 포인트로 작성
    • RDD의 컷 의존
    • 최적화 : RDDcheckpoint 이전, 좋은 생각이 캐시가 낮은