80-20-075- 원칙 -Flink 메모리 관리

1. 비전

2. 관련

3. 개요

오늘, 오픈 소스 데이터 프레임의 넓은 지역 (하둡, 스파크, 스톰) 물론 FLINK의를 포함하여 JVM을 사용합니다. JVM 기반의 데이터 분석 엔진은 여러 가지 문제를 JVM에 직면했다 메모리에 저장, 데이터를 많이 직면해야합니다 :

1. 자바 객체 저장 밀도가 낮다. 일곱 개 정렬 패딩을 나타내는 부울 속성에 대한 회계, 8 개체 헤더 계정 : 객체는 부울 속성은 메모리의 16 바이트를 차지 포함되어 있습니다. 사실 조금 (1/8 바이트) 충분하다.
2. 전체 GC는 크게 특히 큰 데이터는 미세한 수준의 두 번째 수준에 도달 할 것이다 큰, GC에 대한 JVM 메모리 공간을 열어 처리하기 위해, 성능에 영향을 미칠 것입니다.
3. 안정성에 영향을 미치는 OOM 문제. OutOfMemoryError가 종종 분산 컴퓨팅 프레임 워크에서 발생하는 문제가, JVM이 모두가 JVM에 할당 된 메모리의 크기보다 큰 개체를 경우, OutOfMemoryError가 오류가 충돌하는 JVM의 원인, 발생, 분산 프레임 워크의 안정성 및 성능에 영향을 줄 수 있습니다.

그래서 지금, 더 큰 프로젝트를 자신의 데이터 관리 JV를 시작합니다