전체 글

안녕하세요! 김줘입니다. 제가 정말 오랜만에 글을 쓰는 것 같아요. 다른 문제는 조금 바쁘기도 했고,몸이 조금 좋지 않아서 컴퓨터를 할 수가 없었어요 !!! 지금은 괜찮아졌으니, 종종 포스팅을 하도록 하겠습니다! 간략하게 포스팅하고 마무리 하겠습니다!

앞서 모니터링 서버에 Grafana와 Prometheus를 설치하였으니, Airflow에서 해당 모니터링 서버로 데이터를 전송하도록 해야합니다!!해당 목표를 위해 도전하였던 방법에 대해서 기술하도록 하겠습니다! 먼저 처음 알아보았던 방법은 Airflow 서버에서 Prometheus Exporter를 통해 Monitoring 서버로 Airflow의 다양한 메트릭 데이터를 보내는 방법이었습니다! Prometheus Exporter를 통한 Metrics 데이터 전송더보기1) Airflow 서버에 Prometheus Exporter 설치airflow-main, airflow-worker 서버에 Prometheus Exporter 설치# 이미 설치되어 있는지 확인pip list | grep prometheus-a..

이번에 AWS 인프라로 구성된 데이터 엔지니어링 프로젝트를 진행하면서, 발생한 Monitoring 서버 미작동에 대한 부분을 트러블 슈팅한 내용에 대해서 기술해보려고 합니다! 목적은 Airflow Main(Scheduler + Webserver), Airflow Worker. 2대의 서버의 리소스와 Airflow 관련 리소스를 확인할 수 있는 프로메테우스 + 그라파나로 구성된 모니터링 서버 구축입니다! 카테고리 설정이 애매해서 우선 제대로 설정된 부분에 대해서도 파트별로 트러블슈팅 일지에 작성하도록 하겠습니다! Monitoring 서버 구축더보기1) Monitoring 서버에 Prometheus 설치Prometheus는 데이터를 수집하고 저장하는 도구로, Airflow 서버 상태를 주기적으로 확인Prom..

안녕하세요!! 김줘입니다!! 오랜만에 블로그를 작성하러 들어왔습니다!!! TIL은 아니지만, 제 일기와 같은 일지이니 ㅋㅋㅋ TIL로 작성하겠습니다! 큰 이슈나 일이 있던 건 아니고, 개인 일정이 많았고, 이후 곧바로 팀프로젝트 기획에 시간이 많이 들어가서 일주일정도 포스팅을 못한 것 같아요! 아무래도 이제 강의가 종료되었고,프로젝트가 진행 중이기에 매일 포스팅을 하지는 않겠지만,프로젝트에서 트러블슈팅한 내용이나 배운 점에 대해서는 추가로 포스팅을 하도록 하겠습니다!! 짧은 안부인사를 마치고 포스팅은 이만 끝내도록 하겠습니다!!

안녕하세요!! 김줘입니다! 제 블로그에서는 12주차이지만,사실 데브코스는 현재 16주차를 진행하고 있습니다 ㅋㅋㅋㅋㅋㅋ!!왠지 모르게 주차가 점점 차이가 나고 있네요 ㅋㅋㅋㅋㅋㅋㅋ 강의가 마무리 단계에 접어들고 있어서,후반 부분 ML에 대한 강의를 간단히 듣고, 시간이 부족해서 자세히 듣지 못했던 Kafka 강의를 지금도 계속 듣고 있습니다!! 물론 강의만 듣는다면 금방 정리하고, 포스팅할 수 있지만,최종 프로젝트 주제에 대한 고민, 이제 데브코스가 끝나가면서 취업과 커리어에 대한 고민 해당 고민에 대해 생각할 시간과 채용 공고를 찾고 지원하는 시간을 갖고 있어서 시간이 이전보다 부족해진 것 같습니다! 그래도 취업을 하게되면 현업을 통해 보다 많은 경험과 지식을 쌓고 다양한 정보를 전달해드릴 수 있을 것..