앞서 모니터링 서버에 Grafana와 Prometheus를 설치하였으니, Airflow에서 해당 모니터링 서버로 데이터를 전송하도록 해야합니다!!해당 목표를 위해 도전하였던 방법에 대해서 기술하도록 하겠습니다! 먼저 처음 알아보았던 방법은 Airflow 서버에서 Prometheus Exporter를 통해 Monitoring 서버로 Airflow의 다양한 메트릭 데이터를 보내는 방법이었습니다! Prometheus Exporter를 통한 Metrics 데이터 전송더보기1) Airflow 서버에 Prometheus Exporter 설치airflow-main, airflow-worker 서버에 Prometheus Exporter 설치# 이미 설치되어 있는지 확인pip list | grep prometheus-a..

이번에 AWS 인프라로 구성된 데이터 엔지니어링 프로젝트를 진행하면서, 발생한 Monitoring 서버 미작동에 대한 부분을 트러블 슈팅한 내용에 대해서 기술해보려고 합니다! 목적은 Airflow Main(Scheduler + Webserver), Airflow Worker. 2대의 서버의 리소스와 Airflow 관련 리소스를 확인할 수 있는 프로메테우스 + 그라파나로 구성된 모니터링 서버 구축입니다! 카테고리 설정이 애매해서 우선 제대로 설정된 부분에 대해서도 파트별로 트러블슈팅 일지에 작성하도록 하겠습니다! Monitoring 서버 구축더보기1) Monitoring 서버에 Prometheus 설치Prometheus는 데이터를 수집하고 저장하는 도구로, Airflow 서버 상태를 주기적으로 확인Prom..

ELB (Elastic Load Balancing)?ELB는 AWS의 로드 밸런싱 서비스로, 웹 애플리케이션의 트래픽을 여러 대의 서버에 분산시켜 가용성과 성능을 향상시키는데 사용!-> 즉, 애플리케이션을 지원하는 리소스에 네트워크 트래픽을 균등하게 분산하는 역할!Load Balancer로드 밸런서는 서버에 가해지는 네트워크 트래픽을 여러 서버나 자원에 분산하여 애플리케이션의 가용성, 성능, 안정성을 향상시키는 장치 또는 소프트웨어!로드 밸런서는 크게 전송 계층에서 작동하는 L4 로드밸런서, 응용계층에서 작동하는 L7 로드밸런서가 있습니다!생성 방법ELB 생성 이전, EC2 대시보드의 메뉴바에 있는 '대상 그룹' 생성!대상 그룹을 생성했다면, EC2 대시보드 메뉴바에 있는 '로드밸런서'를 클릭!사용하고자..