[데이터 엔지니어링 데브코스 4기] 10주차 11/20 TIL
·
데이터 엔지니어링 데브코스
안녕하세요!! 김줘입니다!! 오늘은 dbt에 대한 강의가 진행되었습니다!! 2024.11.20 - [데이터/dbt] - [dbt] 1. dbt? 자세한 내용은 해당 포스팅에서 확인하실 수 있어요!! 오늘은 강의가 많지 않은 날이어서,최종 프로젝트 팀을 구했습니다! 원래 같이 하고 싶은 분이 있었는데,하필 어제 캐스팅을 당하셔서... 아쉽게도.... 같이 하지 못하게 되었습니다.. 그래도 이전에 같이 팀을 하면서 많이 친해진 분이라,앞으로는 서로 말 놓고 형, 동생하면서 지내기로 했답니다 ㅋㅋㅋㅋㅋ 그리고 이번에 최종 프로젝트 팀원 분들도 다들 좋으신 분들이라,결과가 안좋더라도 서로 재밌게 진행할 수 있을 것 같아요!! 그리고 저를 제외한 4분 모두 서울에서 거주하시고, 저도 서울이 멀지 않기에, 자주 대..
[데이터 엔지니어링 데브코스 4기] 10주차 11/19 TIL
·
데이터 엔지니어링 데브코스
안녕하세요!! 김줘입니다!! 오늘은 어제에 이어서 Airflow 고급 기능에 대해서 학습했습니다! 2024.11.19 - [데이터/Airflow] - [Airflow] 7. DAG Trigger?2024.11.19 - [데이터/Airflow] - [Airflow] 8. Sensor?2024.11.19 - [데이터/Airflow] - [Airflow] 9. BranchPythonOperator?2024.11.19 - [데이터/Airflow] - [Airflow] 10. Task Group? 보다 Airflow를 스케줄과 코드를 통한 자동화를 통해 편하게 쓸 수 있는 방법이니, 한 번 확인해보시는 걸 추천드립니다! 추가로 템플릿과 YAML을 기반으로 한 Dynamic DAG에 대한 포스팅도 진행하려 했지만,..
[데이터 엔지니어링 데브코스 4기] 10주차 11/18 TIL
·
데이터 엔지니어링 데브코스
안녕하세요, 김줘입니다. 오늘은 Airflow에 대한 환경 설정과 다양한 방식의 파일 분리 접근 방법에 대해서 학습하였고,메인으로 Airflow DAG의 상태를 Slack Alert을 통해 확인하는 방법에 대해서 학습하였습니다. 2024.11.18 - [데이터/Airflow] - [Airflow] 6. Slack Alert Airflow에서 Slack Alert을 하는 방법을 간단한 예제를 통해 작성하였으니,어렵지 않게 따라하실 수 있을 것이라고 생각됩니다. 오늘은 기분이 많이 좋지 않네요.. 서울 자취방에서 짐을 빼야해서인지,도리(고양이)가 아파서 그런건지, 좀 울적하네요.. 밖에라도 나가고 싶은데, 서울에 옷이 다 있어서이사 짐 차를 통해 운반을 해야해서 어떻게 해야할 지 걱정이네요! 내일은 강의가 ..