마이너 압축
부 컴팩트 수단은 작은 파일 HFILE 부 컴팩트 규칙에 따라 조합, 그 때문에, 물론 직접 기록 될 수있다 HFILE의 memstore 스킵 플러시 memstore의, 일반 과정 (예를 들어, 새로운 브러쉬 수신 파일을 검출 예를 들어, 대량 쓰기), 그 때 파일을 스캔 한 후 다음의 목록에 파일 및 목록 파일> (1)의 수에 맞춰 규칙을 병합 할 파일의 세 이상의 열 목록과 같은 지역 서버 클러스터를 찾을 경우에 대한 그것은 컴팩트 것이다 규칙이있는 곳으로 다음과 같습니다 :
- min.size 목록에 넣어 미만의 파일 크기;
- 파일 크기는 목록에 넣어되지 않습니다 max.size보다 큰;
- 한 종류의 파일 크기가, 그 이후의 파일 크기 미만 10 * 1.2 총 파일 사이즈 (정보 파일이 충분하지 않다)이면리스트에 배치 여기서 10은 hbase.hstore.compaction.max, HBase를 1.2에 의해 결정된다. hstore.compaction.ratio 결정.
그래서 약간 복잡 조금 규칙보고, 원칙이 큰 파일의 형성 (안 어느 정도에 도달 한 후 통합)를 방지하기 위해, (좋은 경기로 병합 문서)을 병합을 줄이는 것입니다.
파일을 병합하는 과정에서 또한 작은 소형, 단지 데이터를 정렬하지만, 실제 h, 삭제 데이터가 삭제 표시 마크와 같은 파일을 수행하지 않습니다는 TTL은 데이터뿐만 아니라 데이터 정리의 여러 버전까지의 임계 값을 초과 깨끗한 확장했다. 작품은 그것을 할 때?
주요 컴팩트
데이터 정리 작업이 주요 컴팩트 내부에서 수행되는 주요 작업이 결합되어 동일한 열 가족 모두의 모든 파일에 대한 무관심, 데이터를 합병하는 과정에서 정리됩니다, 그 필요성은 제거 할 아웃 만료 된 데이터는 내부 데이터 정렬 (정렬 HBase를 데이터 필드 순서이다)의 통합을 포함한 물론, 할 주요 컴팩트에있을 것입니다. 데이터 수준에서 그래서 주요 컴팩트은 여전히 할 수있는 많은,하지만 그는 IO 소비를 생산하기 때문에 또한 매우 일반적으로 사용하지 않도록 자동 주요 소형, 매우 크지 만 데이터를 수동으로 병합합니다.
참조 :
https://blog.csdn.net/u014297175/article/details/50456147