안녕하세요! 김줘입니다. 오늘은 데이터 파이프라인이 어떤 것인지에 대한 설명과 Airflow 이론에 대한 설명이 진행되었습니다! 주로 데이터 파이프라인, 에어플로우에 관련되어 설명이 이루어져 간단하게 이론을 정리하고 공부했습니다! 2024.11.07 - [데이터/Airflow] - [Airflow] 1. Airflow? 다음 주면, 이제 3차팀을 구성하게 되는데, 지금 팀원분들과 많이 이야기도 나누고 친해진 것 같아 뭔가 아쉬운 것 같아요. 새로운 팀이 구성되면,분위기가 어떨지도 궁금도 하지만, 너무 빠르게 팀이 바뀌다 보니, 서로 편하게 이야기할 수 있어질 때 쯤 끝나는 게 온라인 부트캠프 기준으로는 안좋은 것 같아요 ㅋㅋㅋㅋ 그래도 좋은 분들을 만나 2주동안 재밌게 할 수 있었던 것 같습니다. 많이 ..

Airflow?파이썬으로 작성된 데이터 파이프라인을 구축하고 관리하기 위한 오픈 소스 플랫폼!워크플로우 작성을 통해 데이터 파이프라인 스케줄링 지원DAG?DAG(Directed Acyclic Graph) : Airflow의 ETL 파이프라인!Task 간의 의존 관계를 나타내는 그래프로, 방향성이 있고, 순환이 없는 그래프!각 노드는 Task를 나타내며, Edge는 Task 간의 의존성!방향성이 있기에, 특정 Task가 완료된 후에만 다음 Task 실행 가능!Airflow ArchitectureWeb ServerAirflow의 UI를 제공하며, Flask로 작성!UI를 통해 DAG의 상태를 확인하고, 모니터링 등의 작업 가능!SchedulerDAG의 실행을 스케줄링하고, 지정된 시간에 맞춰 DAG의 Tas..