안녕하세요 김줘입니다!! 오늘은 드디어 3차 프로젝트가 시작되었습니다!! 많이 진행한 것은 없지만,우선 타겟 데이터를 가져오고 적재하는 DAG를 예시로 하나 작성해보았고, 성공적으로 돌아가는 것을 확인할 수 있었습니다!! 그렇기에 아마 조금 여유를 두고,추가적인 데이터 소스를 통해 프로젝트 볼륨을 확장하고자 하는 것이 팀 전체의 의견이라, 오늘 남은 시간은 지금 보유하고 있는 데이터와 엮을 수 있는 데이터를 찾아보려고 합니다!! 프로젝트 기간은 아마도 따로 추가적인 기술 포스팅은 하지 않을 예정이지만,안부 인사와 일기 작성 차 포스팅을 할 예정이니, 많은 관심 부탁드립니다! 오늘도 봐주시는 여러분 감사합니다!!

안녕하세요! 김줘입니다!! 오늘도 어제와 동일하게 dbt에 대한 강의가 이어졌습니다! 2024.11.21 - [데이터/dbt] - [dbt] 2. Seeds, Sources, Tests, Documentation, Expectations 이론에 대한 내용보다는 약간의 이론 + 실습 위주의 강의로 진행되어, 오늘은 포스팅할 내용이 적네요! 내일부터는 Airflow를 사용해서 End-to-End 프로젝트를 진행하는데,아직 완벽하게 인프라, 세부 주제가 정해진 것이 아니라, 발빠르게 진행해야할 것 같아요!! 내일부터 프로젝트 기간동안 열심히 해야하기에,오늘 포스팅은 여기서 마무리하도록 하겠습니다!! 오늘도 봐주시는 여러분 감사합니다!!

안녕하세요!! 김줘입니다!! 오늘은 어제에 이어서 Airflow 고급 기능에 대해서 학습했습니다! 2024.11.19 - [데이터/Airflow] - [Airflow] 7. DAG Trigger?2024.11.19 - [데이터/Airflow] - [Airflow] 8. Sensor?2024.11.19 - [데이터/Airflow] - [Airflow] 9. BranchPythonOperator?2024.11.19 - [데이터/Airflow] - [Airflow] 10. Task Group? 보다 Airflow를 스케줄과 코드를 통한 자동화를 통해 편하게 쓸 수 있는 방법이니, 한 번 확인해보시는 걸 추천드립니다! 추가로 템플릿과 YAML을 기반으로 한 Dynamic DAG에 대한 포스팅도 진행하려 했지만,..