[데이터 엔지니어링 데브코스 4기] 11주차 11/27 TIL

안녕하세요!

 

김줘입니다!!

 

이제는 일기가 되어버린듯한 TIL 포스팅입니다 ㅋㅋㅋㅋ!

 

오늘로써 데이터 엔지니어링 데브코스의 3차 프로젝트가 마무리 되었습니다!!

 

데이터 스케줄링 시간과 프로젝트 사이즈가 조금 아쉽지만, 데이터 수집부터 시각화까지 Airflow를 이용해서 프로젝트를 진행했다는 점에서 참 좋았던 것 같습니다!

 

시각화 결과물을 조금 보여드리자면,

 

이러한 시각화 차트가 다양하게 있습니다!

 

제 담당인 암호화폐 시각화 중 일부만 가져온 것이고, 데이터는 Binance API를 통해 수집했습니다!

 

어제도 말씀드렸지만, 이번 프로젝트에서 추가로 아쉬운 점은,

• 데이터 양이 적은 점
• AWS 비용 최소화를 위해 EC2를 사용하지 않고 Redshift만 사용한 점
• 명확한 세부 주제 설정

입니다!!

 

이제 앞으로 최종 프로젝트가 남아있는데,

세부 주제와 기술을 정하고 체계적으로 진행하려고 합니다!!

 

문제는 현재 팀원이 5명인데, 최종 팀 구성 한도가 4명이라는 소문이 있어서.. 이게 가장 큰 문제일 것 같아요..!

 

그러면 오늘은 여기서 포스팅을 마치도록 하겠습니다!!

 

오늘도 봐주시는 여러분 감사합니다!!