Snowflake?
- Snowflake는 데이터 웨어하우스 솔루션으로, 클라우드 기반에서 대규모 데이터를 효율적으로 처리하고 분석할 수 있는 플랫폼!
- AWS, Azure, GCP 등 다양한 클라우드 위에서 운영 가능!
- 대량의 데이터를 저장, 관리, 분석하는 데 최적화!
- 인프라 관리 없이 쉽게 확장 가능하고, 비용 효율적으로 사용 가능!
Snowflake 특징
- 스토리지와 컴퓨팅 인프라가 별도로 설정되는 가변 비용 모델!
- SQL 기반으로 빅데이터 저장, 처리, 분석 가능!
-> 비구조화된 데이터 처리와 머신러닝 기능도 제공!
- CSV, JSON, Avro 등 다양한 데이터 포맷 지원!
-> S3, GC 클라우드 스토리지, Azure Blog Storage 지원!
- 배치 데이터 중심이지만, 실시간 데이터 처리도 지원!
- Time Traval : 과거 데이터 쿼리 기능으로 트렌드 분석에 유리!
Snowflake 계층 구조
- Organizations
- 한 고객이 사용하는 모든 Snowflake 리소스를 포함하는 가장 상위 레벨 계층
- 여러 개의 Account로 구성되며, 조직 단위로 모든 계정의 접근 권한, 사용 내역, 비용 등을 종합적으로 관리 가능!
- Accounts
- 조직의 개별 구성 요소로, 독립적인 데이터 자원과 사용 권한을 가지고 있는 계층
- 여러 개의 데이터베이스를 포함 가능!
- 데이터 접근을 개별적으로 관리할 수 있어 보안성과 데이터 분리를 강화 가능!
- Databases
- 하나의 Account에 속한 데이터를 보관하는 논리적인 컨테니어!
- 다수의 Shcema를 포함할 수 있으며, 각 스키마에는 테이블, 뷰, 기타 데이터 객체가 포함!
- Warehouses
- 데이터베이스에서 데이터를 처리하는 데 필요한 컴퓨팅 리소스!
- 하나의 데이터베이스가 여러 Warehouse와 연결될 수 있으며, 데이터 처리량에 따라 컴퓨팅 리스소를 독립적으로 확장 가능!