안녕하세요! 김줘입니다!! 오늘은 오전부터 실시간 강의 3시간이 있어서 굉장히 진빠지는 날이었습니다..강의 이후 최종 팀 구성에 대한 공지가 이루어져 이후 게속 관련 얘기가 오가느라 조금 피곤한 날이네요! 우선 오늘은 Hadoop과 Spark에 대한 간략한 설명이 이어졌습니다.Hadoop에 대한 설명을 자세하게 정리할까 생각도 있지만, 데브코스는 Spark에 중점을 두고 강의가 진행되기에 Hadoop의 핵심 개념인 YARN에 대한 정리와 Spark의 이론에 대해 간단히 포스팅을 했습니다! 2024.11.28 - [데이터] - [Hadoop] 1. YARN?2024.11.28 - [데이터] - [Spark] 1. Spark? 자세한 내용은 해당 포스팅에서 확인하실 수 있습니다!! 벌써 데브코스 과정이 막바..

YARN?Yet Another Resource Negotiator -> 또 다른 작업 협상자!Hadoop 2.0부터 도입된 Resource Management Layer. 즉, Hadoop 에코시스템의 자원 관리 프레임워크로, 클러스터의 컴퓨팅 자원을 효율적으로 관리하고 작업을 스케줄링HDFS 위에서 동작하며, 데이터 저장과 처리가 분리된 구조 지원ArchitectureResourceManager : 클러스터 전체의 자원을 관리하고 작업 실행을 조율NodeManager : 각 노드에서 자원 사용 상태를 관리하고 작업 컨테이너 실행ApplicationMaster : 특정 애플리케이션의 실행 계획을 관리하고 자원 요청Container : 작업 실행에 필요한 자원을 묶어 제공하는 최소 단위의 실행 환경YARN..