앞서 모니터링 서버에 Grafana와 Prometheus를 설치하였으니, Airflow에서 해당 모니터링 서버로 데이터를 전송하도록 해야합니다!!해당 목표를 위해 도전하였던 방법에 대해서 기술하도록 하겠습니다! 먼저 처음 알아보았던 방법은 Airflow 서버에서 Prometheus Exporter를 통해 Monitoring 서버로 Airflow의 다양한 메트릭 데이터를 보내는 방법이었습니다! Prometheus Exporter를 통한 Metrics 데이터 전송더보기1) Airflow 서버에 Prometheus Exporter 설치airflow-main, airflow-worker 서버에 Prometheus Exporter 설치# 이미 설치되어 있는지 확인pip list | grep prometheus-a..

이번에 AWS 인프라로 구성된 데이터 엔지니어링 프로젝트를 진행하면서, 발생한 Monitoring 서버 미작동에 대한 부분을 트러블 슈팅한 내용에 대해서 기술해보려고 합니다! 목적은 Airflow Main(Scheduler + Webserver), Airflow Worker. 2대의 서버의 리소스와 Airflow 관련 리소스를 확인할 수 있는 프로메테우스 + 그라파나로 구성된 모니터링 서버 구축입니다! 카테고리 설정이 애매해서 우선 제대로 설정된 부분에 대해서도 파트별로 트러블슈팅 일지에 작성하도록 하겠습니다! Monitoring 서버 구축더보기1) Monitoring 서버에 Prometheus 설치Prometheus는 데이터를 수집하고 저장하는 도구로, Airflow 서버 상태를 주기적으로 확인Prom..

안녕하세요!! 김줘입니다. 오늘은 데이터 웨어하우스에 대한 강의가 진행되었습니다! 강사분도 바뀌었고 배우는 기술도 데엔의 핵심인 기술인 것도 있지만,강의가 자세하고 교안도 그나마 최신에다가 설명이 정말 좋아서 너무너무너무 만족스러워요. 개인적으로 AWS 강의는 전면 개편을 해야한다고 생각하지만,데이터 파트는 오히려 기간과 양을 늘려서 더 배우고 싶다는 생각이 들었습니다. 괜히 유명하신 분이 아닌 것 같아요..진짜 최악을 경험해서 그런지 체감이 더 ㅋㅋㅋㅋㅋㅋ 오늘 공부한 내용은2024.10.29 - [데이터] - [데이터] 데이터 웨어하우스?2024.10.29 - [데이터] - [데이터] 데이터 레이크?2024.10.29 - [AWS] - [데이터, AWS] 15. Redshift? 이렇게 이론만 정리했..