[데이터 엔지니어링 데브코스 4기] 11주차 11/25 TIL

안녕하세요!!

 

김줘입니다!!

 

오늘도 금요일과 동일하게 Airflow를 이용한 프로젝트를 진행 중에 있습니다!

 

프로젝트 기간에는 포스팅할 내용이 없어서 큰일이에요 ㅋㅋㅋㅋ

 

오늘 작업 내용을 간략히 말하자면,

기존에 yfinance로부터 가져오는 가상화폐 데이터에 날짜의 연속성이 깨지는 부분이 존재하여 Binance에서 제공하는 API로 수정하여 DAG를 작성입니다!

 

데이터를 2023-01-01부터 가져와야하기에, catchup 설정을 통해 실행시키는 부분에서, 목표 최근 실행 날짜에 DAG가 실행되지 않아 수정하는 부분에서 굉장히 애를 먹었습니다..

 

이 부분에 대해서는 추후에 어떻게 해결했는지 포스팅을 해보도록 하겠습니다.

 

오늘도 봐주시는 여러분 감사합니다!!