[데이터 엔지니어링 데브코스 4기] 8주차 11/6 TIL

안녕하세요!!

 

프로젝트를 끝내고 돌아온 김줘입니다!!

 

프로그래머스 데이터 엔지니어링 데브코스 4기의 두번째 프로젝트가 오늘로 마무리 되었습니다!

 

팀원들 서로에게 배우고, 다양한 정보를 공유하면서 진행해서, 짧은 기간이었지만, 괜찮은 결과물을 만들 수 있었습니다!

 

DB 서버 리소스로 인해, 서버를 내리게 되어 시각화를 직접 사용해 보실 수는 없겠지만,

 

https://github.com/hosic2/more-wages-for-homes

GitHub - hosic2/more-wages-for-homes: 부동산 가격과 임금 상승률 비교를 위한 분석 및 시각화 프로젝트

 

저희 깃허브 링크에서 확인이 가능하니,

만약 데이터 엔지니어링 데브코스를 수강할 계획이 있으신 분은, 3일정도 프로젝트는 어떻게 진행되고, 어느 정도로 난이도로 구성하면 되는 건지 확인하시면 좋을 것 같습니다!

 

아무래도 다양한 백그라운드를 가진 사람이 만나서 팀프로젝트를 하는 것이다 보니,

기술적 우수함도 중요하지만, 소통이 잘되고, 의견 협의가 잘 되는 팀원과 같이하는 팀프로젝트가 가장 재밌고, 어려움이 있어도 같이 풀어나갈 수 있는 것 같습니다!

 

해당 프로젝트를 진행하면서 아쉬웠던 점은

1. AWS를 사용하여, 데이터 웨어하우스를 구성하지 않았다! 
   -> 자체 DB서버를 구성하여 데이터 웨어하우스, 데이터 마트 형식으로 구성!!
2. ETL의 자동화를 하지 않았다!
   -> 프로젝트 기간이 짧기에, 최대한 파일 데이터로 구성할 수 있는 주제와 데이터로 결정!
3. Preset.io(superset)의 기능과 커스터마이징이 너무 제한적이다!
   -> 다음에는 돈을 내서라도 Tableau를 경험하려고 생각 중이에요!

이렇게 3가지입니다.

 

이번 멘토님이 해당 부분에 있어서, 자동화는 이후에 다룰 Airflow를 통해 다루게 될 것이니, 충분할 것 같다고 해주셔서 그나마 위안이 되네요 ㅋㅋㅋㅋ

 

이번 팀원 분들께 많이 배우고, 많이 알려드리고, 짧은 기간이었지만 재미있게 한 것 같아서, 다음 주에 새로운 팀으로 바뀐다는 게 좀 아쉽습니다!

 

그래도 새로운 팀에 적응하여, 열심히해야 보다 취업에 가까워지겠죠??

 

취업을 하는 그 날까지,

김줘의 포스팅은 멈추지 않습니다!!

 

오늘도 포스팅 봐주시는 여러분 감사합니다!!