Python OperatorAirflow 1.x에서 주로 사용Python 함수를 Task로 실행할 때 PythonOperator 객체 사용명시적으로 함수를 Task로 래핑하여 실행예시 코드더보기from airflow import DAGfrom airflow.operators.python import PythonOperatorfrom datetime import datetime# 추출 함수def extract(url): print(f"Extracting data from {url}") return ['data1', 'data2', 'data3'] # 예시 데이터# 변환 함수def transform(data): print(f"Transforming data: {data}") retur..

XComApache Airflow에서 사용되는 개념으로, Task 간에 데이터를 전달하는 방법 제공Airflow에서 Task는 서로 독립적으로 실행되므로, 각 Task 간에 데이터를 공유하거나 전달하기 위해 XCom 활용주요 기능데이터 공유 : Task 간에 데이터를 전달, 공유 가능하게 하는 기능 제공Push & PopPush : Task에서 데이터를 Xcom으로 저장-> 명시적으로 xcom_push하는 것이 아닌 return으로 자동 push 지원!Pop : 다른 Task에서 Push된 데이터를 꺼내서 사용장점간편한 데이터 공유 : 데이터를 전역 변수나 파일 시스템에 저장할 필요 없이, Airflow의 메타 데이터베이스에 저장하여 빠르고 안전한 데이터 공유 가능비동기 작업 처리 : Task가 병렬로 ..

안녕하세요! 김줘입니다. 오늘은 데이터 파이프라인이 어떤 것인지에 대한 설명과 Airflow 이론에 대한 설명이 진행되었습니다! 주로 데이터 파이프라인, 에어플로우에 관련되어 설명이 이루어져 간단하게 이론을 정리하고 공부했습니다! 2024.11.07 - [데이터/Airflow] - [Airflow] 1. Airflow? 다음 주면, 이제 3차팀을 구성하게 되는데, 지금 팀원분들과 많이 이야기도 나누고 친해진 것 같아 뭔가 아쉬운 것 같아요. 새로운 팀이 구성되면,분위기가 어떨지도 궁금도 하지만, 너무 빠르게 팀이 바뀌다 보니, 서로 편하게 이야기할 수 있어질 때 쯤 끝나는 게 온라인 부트캠프 기준으로는 안좋은 것 같아요 ㅋㅋㅋㅋ 그래도 좋은 분들을 만나 2주동안 재밌게 할 수 있었던 것 같습니다. 많이 ..