1. 스파크의 전체적인 구조
1. 스파크 클러스터 아키텍처
클러스터 배치의 관점에서 Spark 클러스터는 클러스터 관리자(Cluster Manager), 작업자 노드(Worker), 실행자(Executor), 드라이버(Driver) 및 응용 프로그램(Application)으로 구성됩니다. 다음 그림에 나와 있습니다.
1. 클러스터 관리자
Spark의 클러스터 관리자는 전체 클러스터 리소스의 할당 및 관리를 주로 담당합니다. Cluster Manager는 YARN 배포 모드의 ResourceManager, Mesos 배포 모드의 Mesos Master, Standalone 배포 모드의 Master입니다. Cluster Manager가 할당한 리소스는 1단계 할당에 속하며 각 Worker의 메모리, CPU 등의 리소스를 Application에 할당하지만 Executor에 대한 리소스 할당은 담당하지 않습니다. 독립 실행형 배포 모드의 마스터는 메모리, CPU 및 Executor와 같은 리소스를 애플리케이션에 직접 할당합니다. 현재 Standalone, YARN, Mesos, EC2 등을 Spark 클러스터 관리자로 사용할 수 있습니다.
2. 노동자
Spark 작업자 노드. YARN 배포 모드에서는 실제로 NodeManager로 대체됩니다. 작업자 노드는 주로 다음 작업을 담당합니다.
- 등록 메커니즘을 통해 클러스터 관리자에게 메모리, CPU 및 기타 리소스를 알립니다.
- Executor 생성, Executor에 리소스 및 작업 추가 할당,
- 동기식 리소스 문자