[데이터 엔지니어링 데브코스 4기] 11주차 11/26 TIL

안녕하세요

 

김줘입니다!

 

오늘도 어제와 동일하게 프로젝트를 계속해서 진행하고 있습니다.

 

다른 팀에 비해 저희 팀 진행 사항이 조금 초라한 것 같아, 이번 프로젝트는 간단하게 넘기고, 개인 프로젝트를 진행하려고 합니다!!

 

그리고 중간에 데이터가 비어있는 경우를 편하게 처리하기 위해,

스케줄을 일주일 단위로 실행한 것도 조금 아쉬운 것 같아요.

 

제 생각은 하루 단위로 데이터를 불러오고, 만약에 불러온 최신 데이터와 날짜가 다르다면, null로 채우는 게 더 좋다고 생각했는데, 받아들여지지 않아서.... 일주일 단위 스케줄링으로 진행이 됐습니다..

 

이번에 경험해 본 바로는 다양한 데이터 소스가 많기에, 작은 airflow를 이용한 시각화 프로젝트는 중간에 시간을 내어 진행할 수 있을 것 같아, 다양한 주제로 프로젝트를 진행해보려고 합니다!!

 

개인 프로젝트는 포스팅도 할 예정이니 많은 관심 부탁드려요!

 

오늘도 봐주시는 여러분 감사합니다!!