[데이터] Snowflake?
·
데이터
Snowflake?Snowflake는 데이터 웨어하우스 솔루션으로, 클라우드 기반에서 대규모 데이터를 효율적으로 처리하고 분석할 수 있는 플랫폼!AWS, Azure, GCP 등 다양한 클라우드 위에서 운영 가능!대량의 데이터를 저장, 관리, 분석하는 데 최적화!인프라 관리 없이 쉽게 확장 가능하고, 비용 효율적으로 사용 가능!Snowflake 특징스토리지와 컴퓨팅 인프라가 별도로 설정되는 가변 비용 모델!SQL 기반으로 빅데이터 저장, 처리, 분석 가능!-> 비구조화된 데이터 처리와 머신러닝 기능도 제공!CSV, JSON, Avro 등 다양한 데이터 포맷 지원!-> S3, GC 클라우드 스토리지, Azure Blog Storage 지원!배치 데이터 중심이지만, 실시간 데이터 처리도 지원!Time Trav..
[데이터, AWS] 15. Redshift?
·
AWS
Redshift?AWS에서 제공하는 완전 관리형 클라우드 기반 데이터 웨어하우스 서비스!대규모 데이터 세트를 빠르게 분석하고 복잡한 쿼리를 처리할 수 있도록 설계관계형 데이터베이스와 유사한 SQL 쿼리를 지원Redshift의 특징2PB의 데이터까지 처리 가능(최소 160GB)Still OLAP : 응답속도가 빠르지 않아, 프로덕션 데이터베이스로 사용 불가컬럼 기반 스토리지레코드 별로 저장하는 것이 아닌, 컬럼 별 저장컬럼별 압축이 가능하며, 컬럼의 추가, 삭제 작업이 매우 빠름!벌크 업데이트 지원 : 레코드가 들어있는 파일을 S3로 복사 후 COPY 커맨드로 Redshift로의 일괄 복사 가능!데이터 공유(Datashare) : 다른 AWS 계정과 특정 데이터 공유 가능!Primary Key Unique..
[AWS] 5. RDS?
·
AWS
RDS?RDS(Relastional Database Service)는 AWS에서 제공하는 관리형 관계형 데이터베이스 서비스 입니다!DB 인스턴스는 클라우드에서 실행하는 격리된 데이터베이스 환경이며, 여러 사용자가 만든 데이터베이스를 포함할 수 있습니다!RDS는 여러 가지 관계형 데이터베이스 엔진을 지원하며, 독립 실행형 데이터베이스 인스턴스에 액세스할 때 사용하는 툴 및 애플리케이션을 통해 액세스 가능!RDS 특징AWS 명령줄 도구, Amazon RDS API 작업 또는 AWS Management Console을 사용해 간단히 DB 인스턴스를 만들고 수정 가능직접 시스템 로그인 불가능Serverless가 아니기에 Server가 필요!다양한 데이터베이스 엔진 지원RDS 구조Amazon RDS는 고가용성과 ..