[Airflow] 3. Python Operator / Task Decorator
·
데이터/Airflow
Python OperatorAirflow 1.x에서 주로 사용Python 함수를 Task로 실행할 때 PythonOperator 객체 사용명시적으로 함수를 Task로 래핑하여 실행예시 코드더보기from airflow import DAGfrom airflow.operators.python import PythonOperatorfrom datetime import datetime# 추출 함수def extract(url): print(f"Extracting data from {url}") return ['data1', 'data2', 'data3'] # 예시 데이터# 변환 함수def transform(data): print(f"Transforming data: {data}") retur..
[Airflow] 2. XCom?
·
데이터/Airflow
XComApache Airflow에서 사용되는 개념으로, Task 간에 데이터를 전달하는 방법 제공Airflow에서 Task는 서로 독립적으로 실행되므로, 각 Task 간에 데이터를 공유하거나 전달하기 위해 XCom 활용주요 기능데이터 공유 : Task 간에 데이터를 전달, 공유 가능하게 하는 기능 제공Push & PopPush : Task에서 데이터를 Xcom으로 저장-> 명시적으로 xcom_push하는 것이 아닌 return으로 자동 push 지원!Pop : 다른 Task에서 Push된 데이터를 꺼내서 사용장점간편한 데이터 공유 : 데이터를 전역 변수나 파일 시스템에 저장할 필요 없이, Airflow의 메타 데이터베이스에 저장하여 빠르고 안전한 데이터 공유 가능비동기 작업 처리 : Task가 병렬로 ..