안녕하세요 김줘입니다! 오늘은 2차 팀이 종료되고 새로운 3차 팀이 발표되었습니다! 2차팀 분들과 헤어지는 게 아쉬워서 스크럼 시간에 2시간동안 노가리 깐 것 같아요 ㅋㅋㅋㅋㅋ수료를 하더라도 좋은 관계를 계속 이어가야겠다는 생각이 들었습니다! 그리고 새로운 3차팀 분들도 좋은 분이라는 카더라를 들었기에, 이번 팀에서도 열심히 해보려고 합니다!! 그리고 저 링크드인 만들었어요!!https://www.linkedin.com/in/%EC%A3%BC%ED%98%B8-%EA%B9%80-7a794a296/ 1촌 신청 많이많이 주세요 ㅋㅋㅋㅋㅋㅋㅋ 아무튼, 오늘 Airflow 이론, 실습 강의가 이어졌는데, 양이 어마무시하게 많습니다....... 아마 오늘 내로 정리는 못하고,주말동안 정리해야할 것 같아요. (+ 토..

안녕하세요! 김줘입니다. 오늘은 데이터 파이프라인이 어떤 것인지에 대한 설명과 Airflow 이론에 대한 설명이 진행되었습니다! 주로 데이터 파이프라인, 에어플로우에 관련되어 설명이 이루어져 간단하게 이론을 정리하고 공부했습니다! 2024.11.07 - [데이터/Airflow] - [Airflow] 1. Airflow? 다음 주면, 이제 3차팀을 구성하게 되는데, 지금 팀원분들과 많이 이야기도 나누고 친해진 것 같아 뭔가 아쉬운 것 같아요. 새로운 팀이 구성되면,분위기가 어떨지도 궁금도 하지만, 너무 빠르게 팀이 바뀌다 보니, 서로 편하게 이야기할 수 있어질 때 쯤 끝나는 게 온라인 부트캠프 기준으로는 안좋은 것 같아요 ㅋㅋㅋㅋ 그래도 좋은 분들을 만나 2주동안 재밌게 할 수 있었던 것 같습니다. 많이 ..

Airflow?파이썬으로 작성된 데이터 파이프라인을 구축하고 관리하기 위한 오픈 소스 플랫폼!워크플로우 작성을 통해 데이터 파이프라인 스케줄링 지원DAG?DAG(Directed Acyclic Graph) : Airflow의 ETL 파이프라인!Task 간의 의존 관계를 나타내는 그래프로, 방향성이 있고, 순환이 없는 그래프!각 노드는 Task를 나타내며, Edge는 Task 간의 의존성!방향성이 있기에, 특정 Task가 완료된 후에만 다음 Task 실행 가능!Airflow ArchitectureWeb ServerAirflow의 UI를 제공하며, Flask로 작성!UI를 통해 DAG의 상태를 확인하고, 모니터링 등의 작업 가능!SchedulerDAG의 실행을 스케줄링하고, 지정된 시간에 맞춰 DAG의 Tas..

안녕하세요!! 프로젝트를 끝내고 돌아온 김줘입니다!! 프로그래머스 데이터 엔지니어링 데브코스 4기의 두번째 프로젝트가 오늘로 마무리 되었습니다! 팀원들 서로에게 배우고, 다양한 정보를 공유하면서 진행해서, 짧은 기간이었지만, 괜찮은 결과물을 만들 수 있었습니다! DB 서버 리소스로 인해, 서버를 내리게 되어 시각화를 직접 사용해 보실 수는 없겠지만, https://github.com/hosic2/more-wages-for-homes GitHub - hosic2/more-wages-for-homes: 부동산 가격과 임금 상승률 비교를 위한 분석 및 시각화 프로젝트부동산 가격과 임금 상승률 비교를 위한 분석 및 시각화 프로젝트. Contribute to hosic2/more-wages-for-homes de..

안녕하세요! 김줘입니다!! 오늘도 어김없이 데이터 웨어하우스를 이용한 시각화 프로젝트를 진행 중입니다! 매일 블로그에 포스팅을 하려고 하는데,프로젝트 기간에는 쓸 말이 없어서 큰일이에요 ㅋㅋㅋㅋㅋㅋ 우선 오늘은 어제 찾아놓은 서울시 GeoJson을 통해 각 자치구를 기준으로 시각화를 진행하고,팀원 분들을 도와 다양한 차트 작성을 진행하였습니다! 생각보다 superset이 지원하는 범주와 커스텀의 범위가 좁아 많이 불편한 것 같아요. 비용에 문제가 없고 기회가 된다면,Tableau나 PowerBI를 다음 프로젝트에 사용하려고 생각 중입니다! 요즘따라 이렇게 시각화를 하고, 다양한 기술을 써서 그런지 재밌는 것 같아요 ㅋㅋㅋ 더 전달 드릴 말씀이 없어서오늘 포스팅은 여기서 마치도록 하겠습니다! 오늘도 포스팅..