[dbt] 1. dbt?
·
데이터/dbt
dbt데이터 분석 워크플로우에서 데이터 변환 작업을 관리하고 자동화하는 도구 (data build tool)주로 ELT 파이프라인의 Transform 단계에서 사용주요 특징SQL 기반 데이터 변환SQL을 사용하여 데이터 변환손쉽게 모델링과 변환 작업 수행 가능모델 정의 및 계층 구조 관리데이터 변환 작업을 "모델"이라는 단위로 정의모델은 의존성 그래프로 구성되어, 단계별 데이터 처리 가능자동화 및 재현성모델 실행, 데이터 품질 검사, 문서 생성 등의 작업 자동화 가능동일한 데이터를 재현 가능하게 만들어 분석 일관성 보장다양한 데이터 웨어하우스 지원Redshift, BigQuery, Snowflake, Spark, Postgres 등클라우드 버전 존재dbt cloud주요 구성 요소dbt_project.ym..
[데이터 엔지니어링 데브코스 4기] 8주차 11/6 TIL
·
데이터 엔지니어링 데브코스
안녕하세요!! 프로젝트를 끝내고 돌아온 김줘입니다!! 프로그래머스 데이터 엔지니어링 데브코스 4기의 두번째 프로젝트가 오늘로 마무리 되었습니다! 팀원들 서로에게 배우고, 다양한 정보를 공유하면서 진행해서, 짧은 기간이었지만, 괜찮은 결과물을 만들 수 있었습니다! DB 서버 리소스로 인해, 서버를 내리게 되어 시각화를 직접 사용해 보실 수는 없겠지만, https://github.com/hosic2/more-wages-for-homes GitHub - hosic2/more-wages-for-homes: 부동산 가격과 임금 상승률 비교를 위한 분석 및 시각화 프로젝트부동산 가격과 임금 상승률 비교를 위한 분석 및 시각화 프로젝트. Contribute to hosic2/more-wages-for-homes de..