YARN?
- Yet Another Resource Negotiator -> 또 다른 작업 협상자!
- Hadoop 2.0부터 도입된 Resource Management Layer. 즉, Hadoop 에코시스템의 자원 관리 프레임워크로, 클러스터의 컴퓨팅 자원을 효율적으로 관리하고 작업을 스케줄링
- HDFS 위에서 동작하며, 데이터 저장과 처리가 분리된 구조 지원
Architecture
출처 : InterviewBit
- ResourceManager : 클러스터 전체의 자원을 관리하고 작업 실행을 조율
- NodeManager : 각 노드에서 자원 사용 상태를 관리하고 작업 컨테이너 실행
- ApplicationMaster : 특정 애플리케이션의 실행 계획을 관리하고 자원 요청
- Container : 작업 실행에 필요한 자원을 묶어 제공하는 최소 단위의 실행 환경
YARN의 동작
- Client에서 실행 코드와 환경 정보를 Resource Manager(RM)에 제출
- Resource Manager에서 Application Manager를 시작하기 위한 컨테이너 할당
- Application Manager에서 Resource Manager에 등록
- Application Manager에서 Resource Manager로부터 컨테이너를 요청
- Application Manager에서 Node Manager에 컨테이너 실행 요청
- 컨테이너에서 애플리케이션 코드 실행
- Client에서 Resource Manager 또는 Application Manager로 상태 확인
- 처리 완료 후 Application Manager에서 Resource Manager와의 등록 해제