--HA 연방을 소개 하둡
하둡 1.0 및 고 가용성, 확장 성 측면에서 HDFS 맵리 듀스 문제 :
- HDFS 문제
• 네임 노드 단일 장애 지점, 어려운 온라인 장면 HA를 적용
• 네임 노드 압력과 상기 메모리는, 섀도우 확장 F 한정
- 맵리 듀스 문제 사운드 시스템
• JobTracker에 액세스 압력, 시스템 확장 성 영향을 미치는
• 어려운 등등 스파크, 스톰 등의 계산 프레임 워크를 맵리 듀스에 추가로 지원합니다.
HDFS 의해 -Hadoop 2.X,의 MapReduce YARN 세 가지 구성하고;
• HDFS : (연방) NN 연맹, HA;
-2.X : 그것은 다 차 백업을 달성하기 위해 두 개의 노드 만 HA 3.0 지원
• 맵리 듀스 : MR은 YARN에서 실행;
- 디스크를 기반으로 오프라인 계산, I / O를 계산한다
• YARN : 자원 관리 시스템.
HA (고 가용성 문제를 해결하는 단일 장애 점) 대기 네임 노드 용액 차 네임 노드와 • 대기 네임 노드 전환 실패.
연방 정부는 (- 제한된 메모리의 문제 해결) : 수평 확장을, 여러 네임 노드를 지원합니다. 디렉토리의 한 부분을 담당하는 각 네임 노드, 모든 네임 노드 데이터 노드는 모든 스토리지 리소스를 공유 할 수 있습니다.
HA 과정 :
- 主 备 네임 노드
- 고장 (속성 위치)의 단일 포인트를 해결
• 주 네임 노드 외부 서비스는, 마스터 메타 데이터를 동기화 장비 네임 노드 네임 노드는 전환한다
• 모든 데이터 노드보고 블록 정보 (위치)이 네임 노드 동안
• JNN (기사 노드) : 공유 클러스터 두 개의 네임 노드 로그 파일 공유 (특성), 동일한 데이터를 유지.
• 대기 : 대기 노드가 새 이미지를 생성하기 위해 합병 edits.log 파일을 완료, ANN을 다시 밀어
- 스위치 선택 두 종류
• 수동 전환 : 대기 명령 사이를 전환 등 HDFS를 업그레이드 할 수 있습니다
• 자동 전환 : 기반 사육사 (작업 일정 관리) 달성
- 자동 전환 방식 기반 사육사
• 사육사 장애 조치 컨트롤러 : 네임 노드 모니터링 건강 상태,
• 사육사 등록 된 네임 노드
• 네임 노드 요령, 잠금에 대한 ZKFC 네임 노드 대회 후, 잠금 ZKFC 활성화 될 수 네임 노드.
일반적 hadoop2.0 두 네임 노드 활성 상태에있는 하나의 구성, 다른 하나는 대기 상태에있다. 활성 네임 노드 외부 서비스 및 대기 네임 노드는 실패 할 때 신속하게 전환 할 수 만 동기화 활성화 네임 노드 상태 서비스를 제공하지. 주 내지 세트 JournalNode 동기화 메타 데이터 정보에 의해 네임 노드만큼 데이터가 성공적 JournalNode 즉 가장 성공적으로 기록이 기입되어있다. 일반적으로 홀수 JournalNode 구성. 또한 활성 네임 노드 끊기, 대기 네임 노드가 자동으로 상태를 대기 모드로 전환 ZKFC (DFSZKFailoverController) 장애 조치 클러스터 사육사와 함께이 장착되어 있습니다.
• HDFS 2.x에서 연맹
- 저장하고, 상기 복수의 노드들에 분산 된 복수의 네임 노드 / 네임 스페이스 메타 데이터를 관리함으로써, 석도의 네임 노드 / 네임 스페이스는 시스템의 수준을 증가시킴으로써 확장 될 수있다.
–能把单个namenode的负载分散到多个节点中，在HDFS数据规模较大的时候不会也降低HDFS的性能。可以通过多个namespace来隔离不同类型的应用，把不同类型应用的HDFS元数据的存储和管理分派到不同的namenode中。