앞서 모니터링 서버에 Grafana와 Prometheus를 설치하였으니, Airflow에서 해당 모니터링 서버로 데이터를 전송하도록 해야합니다!!해당 목표를 위해 도전하였던 방법에 대해서 기술하도록 하겠습니다! 먼저 처음 알아보았던 방법은 Airflow 서버에서 Prometheus Exporter를 통해 Monitoring 서버로 Airflow의 다양한 메트릭 데이터를 보내는 방법이었습니다! Prometheus Exporter를 통한 Metrics 데이터 전송더보기1) Airflow 서버에 Prometheus Exporter 설치airflow-main, airflow-worker 서버에 Prometheus Exporter 설치# 이미 설치되어 있는지 확인pip list | grep prometheus-a..

이번에 AWS 인프라로 구성된 데이터 엔지니어링 프로젝트를 진행하면서, 발생한 Monitoring 서버 미작동에 대한 부분을 트러블 슈팅한 내용에 대해서 기술해보려고 합니다! 목적은 Airflow Main(Scheduler + Webserver), Airflow Worker. 2대의 서버의 리소스와 Airflow 관련 리소스를 확인할 수 있는 프로메테우스 + 그라파나로 구성된 모니터링 서버 구축입니다! 카테고리 설정이 애매해서 우선 제대로 설정된 부분에 대해서도 파트별로 트러블슈팅 일지에 작성하도록 하겠습니다! Monitoring 서버 구축더보기1) Monitoring 서버에 Prometheus 설치Prometheus는 데이터를 수집하고 저장하는 도구로, Airflow 서버 상태를 주기적으로 확인Prom..

안녕하세요!! 김줘입니다!! 오랜만에 블로그를 작성하러 들어왔습니다!!! TIL은 아니지만, 제 일기와 같은 일지이니 ㅋㅋㅋ TIL로 작성하겠습니다! 큰 이슈나 일이 있던 건 아니고, 개인 일정이 많았고, 이후 곧바로 팀프로젝트 기획에 시간이 많이 들어가서 일주일정도 포스팅을 못한 것 같아요! 아무래도 이제 강의가 종료되었고,프로젝트가 진행 중이기에 매일 포스팅을 하지는 않겠지만,프로젝트에서 트러블슈팅한 내용이나 배운 점에 대해서는 추가로 포스팅을 하도록 하겠습니다!! 짧은 안부인사를 마치고 포스팅은 이만 끝내도록 하겠습니다!!

안녕하세요!! 김줘입니다! 제 블로그에서는 12주차이지만,사실 데브코스는 현재 16주차를 진행하고 있습니다 ㅋㅋㅋㅋㅋㅋ!!왠지 모르게 주차가 점점 차이가 나고 있네요 ㅋㅋㅋㅋㅋㅋㅋ 강의가 마무리 단계에 접어들고 있어서,후반 부분 ML에 대한 강의를 간단히 듣고, 시간이 부족해서 자세히 듣지 못했던 Kafka 강의를 지금도 계속 듣고 있습니다!! 물론 강의만 듣는다면 금방 정리하고, 포스팅할 수 있지만,최종 프로젝트 주제에 대한 고민, 이제 데브코스가 끝나가면서 취업과 커리어에 대한 고민 해당 고민에 대해 생각할 시간과 채용 공고를 찾고 지원하는 시간을 갖고 있어서 시간이 이전보다 부족해진 것 같습니다! 그래도 취업을 하게되면 현업을 통해 보다 많은 경험과 지식을 쌓고 다양한 정보를 전달해드릴 수 있을 것..

안녕하세요!! 오늘도 돌아온 김줘입니다!! 저번주 금요일에 말씀드린 것과 같이,Kafka에 대한 포스팅은 제가 학습하는대로 포스팅을 진행하겠습니다!! 너무 짧게 작성하기는 아쉬우니 TMI를 말하자면..주말에 오랜만에 약속을 멀리 나갈 일이 있어, 오랜만에 조금 많이 걷게 되었는데...발 핏줄이 다 터졌습니다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 아프다 이런 느낌은 없는데,추운 날씨에 많이 걷다보니 피부가 놀란 것 같아요! 추가로 최종 프로젝트를 위한 주제를 이번주 수요일까지 정해야하는데,스트리밍은 데이터를 직접 제공하는 Producer를 만들어야한다는 단점이 있어, 멘토님께서도 배치 방식을 체계적으로 작성하는 것을 추천하셔서 어떤 주제를 할 지 정말 고민이 많이 되네요! 거의 한 달동안 진행하는 프로젝트이기에 팀원 모두의 ..