Redshift?AWS에서 제공하는 완전 관리형 클라우드 기반 데이터 웨어하우스 서비스!대규모 데이터 세트를 빠르게 분석하고 복잡한 쿼리를 처리할 수 있도록 설계관계형 데이터베이스와 유사한 SQL 쿼리를 지원Redshift의 특징2PB의 데이터까지 처리 가능(최소 160GB)Still OLAP : 응답속도가 빠르지 않아, 프로덕션 데이터베이스로 사용 불가컬럼 기반 스토리지레코드 별로 저장하는 것이 아닌, 컬럼 별 저장컬럼별 압축이 가능하며, 컬럼의 추가, 삭제 작업이 매우 빠름!벌크 업데이트 지원 : 레코드가 들어있는 파일을 S3로 복사 후 COPY 커맨드로 Redshift로의 일괄 복사 가능!데이터 공유(Datashare) : 다른 AWS 계정과 특정 데이터 공유 가능!Primary Key Unique..

Data Lake?다양한 원시 데이터를 포함하여 구조화 데이터, 반구조화 데이터, 비구조화 데이터를 대규모로 저장하는 중앙 집중형 저장소! Data Lake의  특징원시 데이터 저장 : 정형 데이터(SQL 데이터베이스, CSV 파일 등)와 비정형 데이터(이미지, 텍스트, 로그 등)의 원래 형태를 유지한 채 저장 가능!유연한 스키마 : 데이터 저장 시 스키마 정의가 필요하지 않고, 데이터 분석이나 처리 시에 필요에 따라 스키마를 적용!확장성 : 대용량 데이터를 비용 효율적으로 저장할 수 있는 Scalable 저장소(보통 클라우드 스토리지)를 사용하여, 스토리지 용량을 자유롭게 확장 가능!다양한 데이터 분석 지원 : BI, 빅데이터 분석, 머신러닝 등 다양한 분석 작업 지원!데이터 웨어하우스 vs 데이터 레..

Data Warehouse?여러 소스에서 수집된 데이터를 통합하고, 분석 및 보고에 최적화된 방식으로 데이터를 저장하는 데이터베이스 시스템!일반적으로 기업의 의사결정 지원 시스템을 위해 회사에 필요한 모든 데이터를 모아놓은 중앙 데이터베이스라고 생각하면 됩니다!프로덕션용 데이터베이스는 OLTP(Online Transaction Processing). 즉, 운영에 최적화 되어있기에 OLAP(Online Analytical Processing, 분석)에 중점을 둔 Data Warehouse와 별개의 데이터베이스로 구성 필요!Data Warehouse의 특징주체 지향성 : 특정 비즈니스 주제를 중심으로 데이터를 적재 및 정리하여 분석에 최적화!통합성 : 다양한 소스(ERP, CRM 등)에서 온 데이터를 하나로..