[데이터 엔지니어링 데브코스 4기] 10주차 11/18 TIL
·
데이터 엔지니어링 데브코스
안녕하세요, 김줘입니다. 오늘은 Airflow에 대한 환경 설정과 다양한 방식의 파일 분리 접근 방법에 대해서 학습하였고,메인으로 Airflow DAG의 상태를 Slack Alert을 통해 확인하는 방법에 대해서 학습하였습니다. 2024.11.18 - [데이터/Airflow] - [Airflow] 6. Slack Alert Airflow에서 Slack Alert을 하는 방법을 간단한 예제를 통해 작성하였으니,어렵지 않게 따라하실 수 있을 것이라고 생각됩니다. 오늘은 기분이 많이 좋지 않네요.. 서울 자취방에서 짐을 빼야해서인지,도리(고양이)가 아파서 그런건지, 좀 울적하네요.. 밖에라도 나가고 싶은데, 서울에 옷이 다 있어서이사 짐 차를 통해 운반을 해야해서 어떻게 해야할 지 걱정이네요! 내일은 강의가 ..
[데이터 엔지니어링 데브코스 4기] 9주차 11/15 TIL
·
데이터 엔지니어링 데브코스
안녕하세요!! 김줘입니다!! 오늘도 어김없이 Docker에 대한 실습 및 강의가 이어졌고,추가로 K8s에 대한 기본적인 이론에 대한 강의가 진행되었습니다. 사실 하루에 평소보다 많은 양의 강의가 진행되어서,딥하게 이해하는데 시간이 좀 부족하다는 생각이 들기는 해요 ㅋㅋㅋ... 그래도 우선적으로 듣고, 정리한 후, 프로젝트에서 직접 다뤄보면서 빠르게 이해해보려고 합니다! 일단 오늘 정리한 내용은 2024.11.15 - [Docker] - [Docker] 5. Docker Compose?2024.11.15 - [Docker] - [Docker] 6. docker-compose.yml? 에서 확인하실 수 있습니다!! 또 오늘 웃긴건, 데브코스는 ZEP에서 코어타임 동안 접속해 있어야하는데, 5분이나 제 자리를..
[데이터 엔지니어링 데브코스 4기] 9주차 11/14 TIL
·
데이터 엔지니어링 데브코스
안녕하세요! 김줘입니다!! 오늘도 어김없이 Docker에 대한 강의가 이어졌습니다. 대부분 실습 위주의 긴 수업이라 시간적으로 너무 오래 걸리는 것 같아요 ㅋㅋㅋ 그래도 뒤쳐지지 않고 따라가고자 합니다! 오늘 정리한 내용은 아래 포스팅에서 확인하실 수 있습니다!! 2024.11.14 - [Docker] - [Docker] 4. Volume? Mount? 벌써부터 3차 프로젝트 주제를 정하고 있는데,어떤 주제를 해야할 지 필이 딱 안오네요 ㅋㅋㅋ 아마 환율 + 원자재(금, 은, 석유 등) + 미국 증시와 같은 데이터를 결합하여,Airflow, API, AWS를 사용하여 데이터 웨어하우스를 구축하고, 기회가 된다면 마트까지 구축하여 시각화 하는 프로젝트가 될 것 같습니다! 이번에도 프로젝트에 열심히 참여하여..