XComApache Airflow에서 사용되는 개념으로, Task 간에 데이터를 전달하는 방법 제공Airflow에서 Task는 서로 독립적으로 실행되므로, 각 Task 간에 데이터를 공유하거나 전달하기 위해 XCom 활용주요 기능데이터 공유 : Task 간에 데이터를 전달, 공유 가능하게 하는 기능 제공Push & PopPush : Task에서 데이터를 Xcom으로 저장-> 명시적으로 xcom_push하는 것이 아닌 return으로 자동 push 지원!Pop : 다른 Task에서 Push된 데이터를 꺼내서 사용장점간편한 데이터 공유 : 데이터를 전역 변수나 파일 시스템에 저장할 필요 없이, Airflow의 메타 데이터베이스에 저장하여 빠르고 안전한 데이터 공유 가능비동기 작업 처리 : Task가 병렬로 ..

Airflow?파이썬으로 작성된 데이터 파이프라인을 구축하고 관리하기 위한 오픈 소스 플랫폼!워크플로우 작성을 통해 데이터 파이프라인 스케줄링 지원DAG?DAG(Directed Acyclic Graph) : Airflow의 ETL 파이프라인!Task 간의 의존 관계를 나타내는 그래프로, 방향성이 있고, 순환이 없는 그래프!각 노드는 Task를 나타내며, Edge는 Task 간의 의존성!방향성이 있기에, 특정 Task가 완료된 후에만 다음 Task 실행 가능!Airflow ArchitectureWeb ServerAirflow의 UI를 제공하며, Flask로 작성!UI를 통해 DAG의 상태를 확인하고, 모니터링 등의 작업 가능!SchedulerDAG의 실행을 스케줄링하고, 지정된 시간에 맞춰 DAG의 Tas..