데이터의 창고..?
Data Warehouse?
- 여러 소스에서 수집된 데이터를 통합하고, 분석 및 보고에 최적화된 방식으로 데이터를 저장하는 데이터베이스 시스템!
- 일반적으로 기업의 의사결정 지원 시스템을 위해 회사에 필요한 모든 데이터를 모아놓은 중앙 데이터베이스라고 생각하면 됩니다!
- 프로덕션용 데이터베이스는 OLTP(Online Transaction Processing). 즉, 운영에 최적화 되어있기에 OLAP(Online Analytical Processing, 분석)에 중점을 둔 Data Warehouse와 별개의 데이터베이스로 구성 필요!
Data Warehouse의 특징
- 주체 지향성 : 특정 비즈니스 주제를 중심으로 데이터를 적재 및 정리하여 분석에 최적화!
- 통합성 : 다양한 소스(ERP, CRM 등)에서 온 데이터를 하나로 통합해 일관된 형식으로 저장!
- 비휘발성 : 데이터는 입력된 후 수정이 불가하고, 과거 기록을 보존하여 시간에 따른 분석 가능!
- 시계열성 : 시간 경과에 따른 변경 사항을 저장하여, 특정 시점에 따른 트렌드 분석 가능!
- 대규모 저장 및 처리 : 병렬 처리 및 분산 아키텍쳐를 활용하여 수평적으로 확장하고 증가하는 데이터 요구 사항을 수용하고, 이러한 확장성을 통해 증가하는 데이터 저장 및 분석 수요 처리 가능!
Data Warehouse의 주요 구성 요소
- ETL(Extract, Transform, Load) 프로세스 : 다양한 소스에서 데이터를 추출, 변환, 적재하는 과정!!
- 데이터 스토리지 : 분석을 위해 데이터를 저장하는 공간으로, 주로 관계형 데이터베이스 사용!
- OLAP 엔진 : 데이터를 다양한 관점에서 다차원적으로 분석할 수 있도록 지원!
- BI(Business Intelligence) 도구 : 데이터를 시각화 및 리포트 작성을 통해 데이터를 분석 가능!
Data Warehouse의 장점
- 데이터 통합을 통해 의사 결정의 근거가 되는 데이터의 일관성 보장!
- 대규모 데이터에 대한 빠른 조회와 분석 가능!
- 과거 데이터 보존 및 시계열 데이터 분석으로 미래 트렌드 예측 가능!