Task GroupAirflow에서 DAG의 Task를 논리적으로 그룹화하여 관리와 시각화를 개선하는 방법DAG의 복잡성을 줄이고 관련 Task를 하나의 TaskGroup으로 묶어 재사용성 및 가독성 향상주요 특징 및 장점시각적 그룹화 : Airflow UI에서 TaskGroup이 상자 형태로 표시되어 DAG 구조 가독성 향상코드 재사용성 향상 : 반복적인 작업이나 관련 Task를 그룹화하여 코드 중복 감소네임스페이스 관리 : TaskGroup 내부의 Task는 고유한 네임스페이스를 가져 이름 충돌 방지주요 매개변수group_id : TaskGroup의 고유 ID로, Task 이름의 접두사tooltip : UI에서 TaskGroup에 마우스를 올릴 때 표시될 설명prefix_group_id : Task ..

Sensor?특정 조건이 충족될 때까지 작업의 실행을 대기시키는 Operator주로 외부 이벤트를 모니터링하거나 상태 확인에 사용주요 특징상태 확인외부 시스템 또는 상태를 주기적으로 확인조건 충족 시 다음 Task 실행Poke & Reschedule 모드Poke : Sensor가 계속 실행되며 주기적으로 상태 확인Reschedule : Sensor가 계속 실행되지 않고, 일정 시간 후 다시 상태 확인TimeoutSensor가 조건 충족 여부를 확인하다가 지정된 시간 내에 조건이 충족되지 않으면 실패 철리종류ExternalTaskSensor다른 DAG의 특정 Task 완료 여부 확인FileSensor특정 경로에 파일이 생성될 때까지 대기HttpSensor특정 HTTP 요청이 성공적으로 완료될 때까지 대기S..

DAG Trigger?하나의 DAG가 완료되거나, 특정 조건을 만족하면 다른 DAG를 트리거하는 기능다중 DAG 간의 의존성을 설정할 때 유용하나의 DAG 실행이 끝난 후 다른 DAG를 자동으로 실행 가능DAG Trigger를 통해 여러개의 DAG를 연속적으로 실행하거나, 조건에 맞는 시점에 실행 가능DAG Trigger 방법Explict TriggerTriggerDagRunOperator 사용DAG A가 명시적으로 DAG B를 트리거사용방법더보기1. airflow.cfg 파일의 [dag_run_conf_overrides_params] 값을 True로 설정 2. Trigger하는 DAG에서 TriggerDagRunOperator 정의from airflow import DAGfrom airflow.oper..