DAG Trigger?하나의 DAG가 완료되거나, 특정 조건을 만족하면 다른 DAG를 트리거하는 기능다중 DAG 간의 의존성을 설정할 때 유용하나의 DAG 실행이 끝난 후 다른 DAG를 자동으로 실행 가능DAG Trigger를 통해 여러개의 DAG를 연속적으로 실행하거나, 조건에 맞는 시점에 실행 가능DAG Trigger 방법Explict TriggerTriggerDagRunOperator 사용DAG A가 명시적으로 DAG B를 트리거사용방법더보기1. airflow.cfg 파일의 [dag_run_conf_overrides_params] 값을 True로 설정 2. Trigger하는 DAG에서 TriggerDagRunOperator 정의from airflow import DAGfrom airflow.oper..

Airflow - Slack AlertAirflow의 DAG 실행 중 에러가 발생하면 지정된 Slack 채널로 에러 메시지 전송장점실시간 알림 기능 : Airflow DAG의 상태를 실시간으로 Slack 채널에서 확인 가능협업 효율성 향상 : Slack 채널에서의 알람을 통해 다수의 사용자가 에러를 빠르게 확인 가능커스터마이징 : 알림 메시지 내용 및 형식을 필요에 따라 수정 가능하며 특정 이벤트에만 동작하도록 설정 가능사용법Alert를 보낼 Slack 워크스페이스와 채널 결정https://api.slack.com/messaging/webhooks에 접속하여 App 생성더보기2-1. Create your Slack app 클릭 2-2. From scratch 선택 2-3. App Name & 워크스페이스..

Backfill?실패한 데이터 파이프라인을 재실행 or 읽어온 데이터의 문제로 다시 읽어와야하는 경우를 의미Airflow에서의 Backfill과거 특정 날짜에 대한 DAG 실행을 수동으로 수행하여 데이터 파이프라인을 다시 실행하는 과정새로운 DAG를 추가하거나, DAG의 설정을 변경한 후, 누락된 과거 데이터를 처리하기 위해 사용Backfill의 주요 목적데이터 누락 방지 : 과거 DAG가 실행되지 않아서 누락된 데이터를 채우는 데 사용데이터 갱신 : 과거 DAG에 에러가 발생한 경우, 과거 데이터를 갱신하기 위해 사용데이터 재처리 : 데이터 처리 로직이 변경된 후 과거 데이터를 새 로직에 맞게 재처리하기 위해 사용Backfill 관련 Airflow 변수start_dateDAG가 처음 실행되는 날짜가 ..