Sensor?특정 조건이 충족될 때까지 작업의 실행을 대기시키는 Operator주로 외부 이벤트를 모니터링하거나 상태 확인에 사용주요 특징상태 확인외부 시스템 또는 상태를 주기적으로 확인조건 충족 시 다음 Task 실행Poke & Reschedule 모드Poke : Sensor가 계속 실행되며 주기적으로 상태 확인Reschedule : Sensor가 계속 실행되지 않고, 일정 시간 후 다시 상태 확인TimeoutSensor가 조건 충족 여부를 확인하다가 지정된 시간 내에 조건이 충족되지 않으면 실패 철리종류ExternalTaskSensor다른 DAG의 특정 Task 완료 여부 확인FileSensor특정 경로에 파일이 생성될 때까지 대기HttpSensor특정 HTTP 요청이 성공적으로 완료될 때까지 대기S..

DAG Trigger?하나의 DAG가 완료되거나, 특정 조건을 만족하면 다른 DAG를 트리거하는 기능다중 DAG 간의 의존성을 설정할 때 유용하나의 DAG 실행이 끝난 후 다른 DAG를 자동으로 실행 가능DAG Trigger를 통해 여러개의 DAG를 연속적으로 실행하거나, 조건에 맞는 시점에 실행 가능DAG Trigger 방법Explict TriggerTriggerDagRunOperator 사용DAG A가 명시적으로 DAG B를 트리거사용방법더보기1. airflow.cfg 파일의 [dag_run_conf_overrides_params] 값을 True로 설정 2. Trigger하는 DAG에서 TriggerDagRunOperator 정의from airflow import DAGfrom airflow.oper..

안녕하세요, 김줘입니다. 오늘은 Airflow에 대한 환경 설정과 다양한 방식의 파일 분리 접근 방법에 대해서 학습하였고,메인으로 Airflow DAG의 상태를 Slack Alert을 통해 확인하는 방법에 대해서 학습하였습니다. 2024.11.18 - [데이터/Airflow] - [Airflow] 6. Slack Alert Airflow에서 Slack Alert을 하는 방법을 간단한 예제를 통해 작성하였으니,어렵지 않게 따라하실 수 있을 것이라고 생각됩니다. 오늘은 기분이 많이 좋지 않네요.. 서울 자취방에서 짐을 빼야해서인지,도리(고양이)가 아파서 그런건지, 좀 울적하네요.. 밖에라도 나가고 싶은데, 서울에 옷이 다 있어서이사 짐 차를 통해 운반을 해야해서 어떻게 해야할 지 걱정이네요! 내일은 강의가 ..

Airflow - Slack AlertAirflow의 DAG 실행 중 에러가 발생하면 지정된 Slack 채널로 에러 메시지 전송장점실시간 알림 기능 : Airflow DAG의 상태를 실시간으로 Slack 채널에서 확인 가능협업 효율성 향상 : Slack 채널에서의 알람을 통해 다수의 사용자가 에러를 빠르게 확인 가능커스터마이징 : 알림 메시지 내용 및 형식을 필요에 따라 수정 가능하며 특정 이벤트에만 동작하도록 설정 가능사용법Alert를 보낼 Slack 워크스페이스와 채널 결정https://api.slack.com/messaging/webhooks에 접속하여 App 생성더보기2-1. Create your Slack app 클릭 2-2. From scratch 선택 2-3. App Name & 워크스페이스..

안녕하세요!! 김줘입니다!! 오늘도 어김없이 Docker에 대한 실습 및 강의가 이어졌고,추가로 K8s에 대한 기본적인 이론에 대한 강의가 진행되었습니다. 사실 하루에 평소보다 많은 양의 강의가 진행되어서,딥하게 이해하는데 시간이 좀 부족하다는 생각이 들기는 해요 ㅋㅋㅋ... 그래도 우선적으로 듣고, 정리한 후, 프로젝트에서 직접 다뤄보면서 빠르게 이해해보려고 합니다! 일단 오늘 정리한 내용은 2024.11.15 - [Docker] - [Docker] 5. Docker Compose?2024.11.15 - [Docker] - [Docker] 6. docker-compose.yml? 에서 확인하실 수 있습니다!! 또 오늘 웃긴건, 데브코스는 ZEP에서 코어타임 동안 접속해 있어야하는데, 5분이나 제 자리를..