Airflow?파이썬으로 작성된 데이터 파이프라인을 구축하고 관리하기 위한 오픈 소스 플랫폼!워크플로우 작성을 통해 데이터 파이프라인 스케줄링 지원DAG?DAG(Directed Acyclic Graph) : Airflow의 ETL 파이프라인!Task 간의 의존 관계를 나타내는 그래프로, 방향성이 있고, 순환이 없는 그래프!각 노드는 Task를 나타내며, Edge는 Task 간의 의존성!방향성이 있기에, 특정 Task가 완료된 후에만 다음 Task 실행 가능!Airflow ArchitectureWeb ServerAirflow의 UI를 제공하며, Flask로 작성!UI를 통해 DAG의 상태를 확인하고, 모니터링 등의 작업 가능!SchedulerDAG의 실행을 스케줄링하고, 지정된 시간에 맞춰 DAG의 Tas..

Data Warehouse?여러 소스에서 수집된 데이터를 통합하고, 분석 및 보고에 최적화된 방식으로 데이터를 저장하는 데이터베이스 시스템!일반적으로 기업의 의사결정 지원 시스템을 위해 회사에 필요한 모든 데이터를 모아놓은 중앙 데이터베이스라고 생각하면 됩니다!프로덕션용 데이터베이스는 OLTP(Online Transaction Processing). 즉, 운영에 최적화 되어있기에 OLAP(Online Analytical Processing, 분석)에 중점을 둔 Data Warehouse와 별개의 데이터베이스로 구성 필요!Data Warehouse의 특징주체 지향성 : 특정 비즈니스 주제를 중심으로 데이터를 적재 및 정리하여 분석에 최적화!통합성 : 다양한 소스(ERP, CRM 등)에서 온 데이터를 하나로..