앞서 모니터링 서버에 Grafana와 Prometheus를 설치하였으니, Airflow에서 해당 모니터링 서버로 데이터를 전송하도록 해야합니다!!해당 목표를 위해 도전하였던 방법에 대해서 기술하도록 하겠습니다! 먼저 처음 알아보았던 방법은 Airflow 서버에서 Prometheus Exporter를 통해 Monitoring 서버로 Airflow의 다양한 메트릭 데이터를 보내는 방법이었습니다! Prometheus Exporter를 통한 Metrics 데이터 전송더보기1) Airflow 서버에 Prometheus Exporter 설치airflow-main, airflow-worker 서버에 Prometheus Exporter 설치# 이미 설치되어 있는지 확인pip list | grep prometheus-a..

Task GroupAirflow에서 DAG의 Task를 논리적으로 그룹화하여 관리와 시각화를 개선하는 방법DAG의 복잡성을 줄이고 관련 Task를 하나의 TaskGroup으로 묶어 재사용성 및 가독성 향상주요 특징 및 장점시각적 그룹화 : Airflow UI에서 TaskGroup이 상자 형태로 표시되어 DAG 구조 가독성 향상코드 재사용성 향상 : 반복적인 작업이나 관련 Task를 그룹화하여 코드 중복 감소네임스페이스 관리 : TaskGroup 내부의 Task는 고유한 네임스페이스를 가져 이름 충돌 방지주요 매개변수group_id : TaskGroup의 고유 ID로, Task 이름의 접두사tooltip : UI에서 TaskGroup에 마우스를 올릴 때 표시될 설명prefix_group_id : Task ..

BranchPythonOperator?Airflow에서 특정 조건에 따라 DAG의 실행 경로를 분기할 수 있도록 돕는 Operator실행 후 다음에 실행할 Task ID 반환특징조건부 흐름 제어 : 분기 로직을 Python 함수로 구현하여 특정 조건에 따라 실행 경로 결정한 번에 하나의 경로만 선택 : 반환된 Task ID만 실행되며, 선택되지 않은 경로의 Task는 Skipped 상태동적 Task 실행 : 데이터 또는 외부 입력에 따라 DAG의 실행 흐름 변경작동 방식분기 로직 실행 : 분기 로직을 작성한 함수 실행을 통해 Task ID 반환Task 선택 : 반환된 Task만 실행되며, 나머지 Task는 Skipped 상태DAG 흐름 진행 : 선택된 Task 실행 후 다음 Task 실행예시from ai..