안녕하세요! 김줘입니다!! 오늘은 오전부터 실시간 강의 3시간이 있어서 굉장히 진빠지는 날이었습니다..강의 이후 최종 팀 구성에 대한 공지가 이루어져 이후 게속 관련 얘기가 오가느라 조금 피곤한 날이네요! 우선 오늘은 Hadoop과 Spark에 대한 간략한 설명이 이어졌습니다.Hadoop에 대한 설명을 자세하게 정리할까 생각도 있지만, 데브코스는 Spark에 중점을 두고 강의가 진행되기에 Hadoop의 핵심 개념인 YARN에 대한 정리와 Spark의 이론에 대해 간단히 포스팅을 했습니다! 2024.11.28 - [데이터] - [Hadoop] 1. YARN?2024.11.28 - [데이터] - [Spark] 1. Spark? 자세한 내용은 해당 포스팅에서 확인하실 수 있습니다!! 벌써 데브코스 과정이 막바..

Spark?대규모 데이터 처리와 분석을 위해 개발된 오픈 소스 분산 데이터 처리 프레임워크Hadoop을 잇는 2세대 빅데이터 기술로 YARN 등을 분산 환경으로 사용Spark 주요 특징빠른 데이터 처리Spark는 데이터를 메모리에 유지하며 처리하여 디스크 I/O 작업 감소반복적인 작업에 뛰어난 성능다양한 데이터 소스 지원HDFS(Hadoop Distributed File System)Amazon S3, Azure StorageNoSQL DB(Cassandra, HBase 등)SQL DB와 통합 가능다중 언어 지원Python(PySpark), Java, Scala, R, SQL 등 다양한 프로그래밍 언어로 작업 가능확장성수백 ~ 수천 대의 클러스터 노드를 확장하여 대규모 데이터를 병렬로 처리다양한 라이브러..