[데이터 엔지니어링 데브코스 4기] 10주차 11/22 TIL
·
데이터 엔지니어링 데브코스
안녕하세요 김줘입니다!! 오늘은 드디어 3차 프로젝트가 시작되었습니다!! 많이 진행한 것은 없지만,우선 타겟 데이터를 가져오고 적재하는 DAG를 예시로 하나 작성해보았고, 성공적으로 돌아가는 것을 확인할 수 있었습니다!! 그렇기에 아마 조금 여유를 두고,추가적인 데이터 소스를 통해 프로젝트 볼륨을 확장하고자 하는 것이 팀 전체의 의견이라, 오늘 남은 시간은 지금 보유하고 있는 데이터와 엮을 수 있는 데이터를 찾아보려고 합니다!! 프로젝트 기간은 아마도 따로 추가적인 기술 포스팅은 하지 않을 예정이지만,안부 인사와 일기 작성 차 포스팅을 할 예정이니, 많은 관심 부탁드립니다! 오늘도 봐주시는 여러분 감사합니다!!
[데이터 엔지니어링 데브코스 4기] 10주차 11/21 TIL
·
데이터 엔지니어링 데브코스
안녕하세요! 김줘입니다!! 오늘도 어제와 동일하게 dbt에 대한 강의가 이어졌습니다! 2024.11.21 - [데이터/dbt] - [dbt] 2. Seeds, Sources, Tests, Documentation, Expectations 이론에 대한 내용보다는 약간의 이론 + 실습 위주의 강의로 진행되어, 오늘은 포스팅할 내용이 적네요! 내일부터는 Airflow를 사용해서 End-to-End 프로젝트를 진행하는데,아직 완벽하게 인프라, 세부 주제가 정해진 것이 아니라, 발빠르게 진행해야할 것 같아요!! 내일부터 프로젝트 기간동안 열심히 해야하기에,오늘 포스팅은 여기서 마무리하도록 하겠습니다!! 오늘도 봐주시는 여러분 감사합니다!!
[데이터 엔지니어링 데브코스 4기] 10주차 11/20 TIL
·
데이터 엔지니어링 데브코스
안녕하세요!! 김줘입니다!! 오늘은 dbt에 대한 강의가 진행되었습니다!! 2024.11.20 - [데이터/dbt] - [dbt] 1. dbt? 자세한 내용은 해당 포스팅에서 확인하실 수 있어요!! 오늘은 강의가 많지 않은 날이어서,최종 프로젝트 팀을 구했습니다! 원래 같이 하고 싶은 분이 있었는데,하필 어제 캐스팅을 당하셔서... 아쉽게도.... 같이 하지 못하게 되었습니다.. 그래도 이전에 같이 팀을 하면서 많이 친해진 분이라,앞으로는 서로 말 놓고 형, 동생하면서 지내기로 했답니다 ㅋㅋㅋㅋㅋ 그리고 이번에 최종 프로젝트 팀원 분들도 다들 좋으신 분들이라,결과가 안좋더라도 서로 재밌게 진행할 수 있을 것 같아요!! 그리고 저를 제외한 4분 모두 서울에서 거주하시고, 저도 서울이 멀지 않기에, 자주 대..