[Spark] 1. Spark?

Spark?

• 대규모 데이터 처리와 분석을 위해 개발된 오픈 소스 분산 데이터 처리 프레임워크
• Hadoop을 잇는 2세대 빅데이터 기술로 YARN 등을 분산 환경으로 사용
  
  

Spark 주요 특징

• 빠른 데이터 처리
  • Spark는 데이터를 메모리에 유지하며 처리하여 디스크 I/O 작업 감소
  • 반복적인 작업에 뛰어난 성능
• 다양한 데이터 소스 지원
  • HDFS(Hadoop Distributed File System)
  • Amazon S3, Azure Storage
  • NoSQL DB(Cassandra, HBase 등)
  • SQL DB와 통합 가능
• 다중 언어 지원
  • Python(PySpark), Java, Scala, R, SQL 등 다양한 프로그래밍 언어로 작업 가능
• 확장성
  • 수백 ~ 수천 대의 클러스터 노드를 확장하여 대규모 데이터를 병렬로 처리
• 다양한 라이브러리
  • Spark SQL : 구조화된 데이터 분석
  • Spark Streaming : 실시간 데이터 스트리밍 처리
  • Spark ML(MLlib) : 머신 러닝
  • Spark GraphX : 그래프 데이터 처리
  • Spark Core : 기본 데이터 처리 엔진
    
    

Spark 핵심 컴포넌트

• RDD(Resilient Distributed Dataset)
  • Spark의 핵심 데이터 구조로, 데이터가 변경되지 않는 데이터 컬렉션
  • 분산 처리와 결합된 데이터 복구 기능 제공
  • 기본적인 데이터 처리 작업이 이루어지는 위치
  • 로우레벨 데이터로 클러스터내의 서버에 분산된 데이터를 지칭
  • 레코드별로 존재하지만 스키마가 존재하지 않음
  • 구조화된 데이터나 비구조화된 데이터 모두 지원
• DataFrame
  • 구조화된 데이터로 이루어진 데이터셋
  • RDD보다 사용하기 간편하고 SQL 쿼리 사용 가능
  • 데이터의 스키마 정보를 포함하여 성능 최적화
  • RDD위에 만들어지는 RDD와는 달리 필드 정보를 갖고 있음
• Dataset
  • DataFrame과 유사하지만, 정적 타입(컴파일 시점에 타입 결정)을 지원
  • Scala, Java에서 사용 가능하지만, Python 미지원
• Spark SQL
  • SQL-like 언어를 사용하여 구조화된 데이터 처리
  • RDBMS와 유사하게 데이터를 질의하고 분석 가능
• Spark Streaming
  • 실시간 데이터 스트리밍 처리
  • Kafka, Flume 같은 스트리밍 데이터 소스와 연동 가능
• MLlib
  • 머신 러닝 라이브러리로, [회귀, 분류, 클러스터링 등]의 알고리즘 지원
  • 데이터 준비 및 피처 엔지니어링 도구 지원
• GraphX
  • 그래프 데이터와 관련된 작업 처리
  • 그래프와 RDD를 결합하여 대규모 그래프를 병렬 처리
    
    

Spark 장점

• 속도 : 메모리 기반 처리로 빠른 작업 성능 제공
• 유연성 : 배치 처리와 스트리밍 처리 모두 지원
• 호환성 : 기존의 Hadoop 시스템과 통합 가능
• 간결한 코드 : Python, Scala 등의 간결한 API를 통해 개발 생산성 향상
  
  

Spark 단점

• 메모리 의존도 : 메모리 기반 처리 방식으로, 메모리가 부족한 환경에서 성능 저하 발생
• 복잡한 클러스터 관리 : 대규모 클러스터에서 작업할 때 자원 관리가 어렵고 설정 복잡
• 실시간 처리 제한 : 실시간 처리에서 일부 대기 시간이 발생할 수 있어 완전한 실시간성 보장 X