Redshift?
- AWS에서 제공하는 완전 관리형 클라우드 기반 데이터 웨어하우스 서비스!
- 대규모 데이터 세트를 빠르게 분석하고 복잡한 쿼리를 처리할 수 있도록 설계
- 관계형 데이터베이스와 유사한 SQL 쿼리를 지원
Redshift의 특징
- 2PB의 데이터까지 처리 가능(최소 160GB)
- Still OLAP : 응답속도가 빠르지 않아, 프로덕션 데이터베이스로 사용 불가
- 컬럼 기반 스토리지
- 레코드 별로 저장하는 것이 아닌, 컬럼 별 저장
- 컬럼별 압축이 가능하며, 컬럼의 추가, 삭제 작업이 매우 빠름!
- 벌크 업데이트 지원 : 레코드가 들어있는 파일을 S3로 복사 후 COPY 커맨드로 Redshift로의 일괄 복사 가능!
- 데이터 공유(Datashare) : 다른 AWS 계정과 특정 데이터 공유 가능!
- Primary Key Uniqueness 보장 X : OLAP용으로 설계된 데이터 웨어하우스이기에, 유일성 검사와 무결성 제약의 강제 X
- MPP(Massively Parallel Processing) 구조
- MPP 아키텍처를 기반으로 작동하여, 쿼리를 여러 노드에 분산하여 병렬 실행 가능!
- 여러 컴퓨팅 노드를 구성할 수 있는 클러스터 형태로 운영되며, 각 노드는 자체 CPU, 메모리, 스토리지를 갖고 독립적인 작업 수행 가능
Redshift의 아키텍처
- 리더 노드
- 사용자가 실행하는 SQL 쿼리를 받아 쿼리 계획을 생성하고, 이를 컴퓨팅 노드에 분배하여 실행하도록 명령!
- 최종 쿼리 결과를 수집하여 사용자에게 반환!
- 컴퓨팅 노드
- 리더 노드로부터 전달받은 쿼리의 일부를 실행하며, 병렬 처리를 통해 높은 성능 제공!
- 각 컴퓨팅 노드는 데이터를 독립적으로 저장하고, 이를 처리하여 리더 노드에 결과 반환!
- 스토리지
- 각 컴퓨팅 노드에 로컬로 결합!
- 컬별 기반 스토리지이므로 디스크 I/O를 줄이고 데이터 압축률을 높여 쿼리 성능 개선!