Task GroupAirflow에서 DAG의 Task를 논리적으로 그룹화하여 관리와 시각화를 개선하는 방법DAG의 복잡성을 줄이고 관련 Task를 하나의 TaskGroup으로 묶어 재사용성 및 가독성 향상주요 특징 및 장점시각적 그룹화 : Airflow UI에서 TaskGroup이 상자 형태로 표시되어 DAG 구조 가독성 향상코드 재사용성 향상 : 반복적인 작업이나 관련 Task를 그룹화하여 코드 중복 감소네임스페이스 관리 : TaskGroup 내부의 Task는 고유한 네임스페이스를 가져 이름 충돌 방지주요 매개변수group_id : TaskGroup의 고유 ID로, Task 이름의 접두사tooltip : UI에서 TaskGroup에 마우스를 올릴 때 표시될 설명prefix_group_id : Task ..

BranchPythonOperator?Airflow에서 특정 조건에 따라 DAG의 실행 경로를 분기할 수 있도록 돕는 Operator실행 후 다음에 실행할 Task ID 반환특징조건부 흐름 제어 : 분기 로직을 Python 함수로 구현하여 특정 조건에 따라 실행 경로 결정한 번에 하나의 경로만 선택 : 반환된 Task ID만 실행되며, 선택되지 않은 경로의 Task는 Skipped 상태동적 Task 실행 : 데이터 또는 외부 입력에 따라 DAG의 실행 흐름 변경작동 방식분기 로직 실행 : 분기 로직을 작성한 함수 실행을 통해 Task ID 반환Task 선택 : 반환된 Task만 실행되며, 나머지 Task는 Skipped 상태DAG 흐름 진행 : 선택된 Task 실행 후 다음 Task 실행예시from ai..

Sensor?특정 조건이 충족될 때까지 작업의 실행을 대기시키는 Operator주로 외부 이벤트를 모니터링하거나 상태 확인에 사용주요 특징상태 확인외부 시스템 또는 상태를 주기적으로 확인조건 충족 시 다음 Task 실행Poke & Reschedule 모드Poke : Sensor가 계속 실행되며 주기적으로 상태 확인Reschedule : Sensor가 계속 실행되지 않고, 일정 시간 후 다시 상태 확인TimeoutSensor가 조건 충족 여부를 확인하다가 지정된 시간 내에 조건이 충족되지 않으면 실패 철리종류ExternalTaskSensor다른 DAG의 특정 Task 완료 여부 확인FileSensor특정 경로에 파일이 생성될 때까지 대기HttpSensor특정 HTTP 요청이 성공적으로 완료될 때까지 대기S..