Airflow?파이썬으로 작성된 데이터 파이프라인을 구축하고 관리하기 위한 오픈 소스 플랫폼!워크플로우 작성을 통해 데이터 파이프라인 스케줄링 지원DAG?DAG(Directed Acyclic Graph) : Airflow의 ETL 파이프라인!Task 간의 의존 관계를 나타내는 그래프로, 방향성이 있고, 순환이 없는 그래프!각 노드는 Task를 나타내며, Edge는 Task 간의 의존성!방향성이 있기에, 특정 Task가 완료된 후에만 다음 Task 실행 가능!Airflow ArchitectureWeb ServerAirflow의 UI를 제공하며, Flask로 작성!UI를 통해 DAG의 상태를 확인하고, 모니터링 등의 작업 가능!SchedulerDAG의 실행을 스케줄링하고, 지정된 시간에 맞춰 DAG의 Tas..

안녕하세요!! 프로젝트를 끝내고 돌아온 김줘입니다!! 프로그래머스 데이터 엔지니어링 데브코스 4기의 두번째 프로젝트가 오늘로 마무리 되었습니다! 팀원들 서로에게 배우고, 다양한 정보를 공유하면서 진행해서, 짧은 기간이었지만, 괜찮은 결과물을 만들 수 있었습니다! DB 서버 리소스로 인해, 서버를 내리게 되어 시각화를 직접 사용해 보실 수는 없겠지만, https://github.com/hosic2/more-wages-for-homes GitHub - hosic2/more-wages-for-homes: 부동산 가격과 임금 상승률 비교를 위한 분석 및 시각화 프로젝트부동산 가격과 임금 상승률 비교를 위한 분석 및 시각화 프로젝트. Contribute to hosic2/more-wages-for-homes de..

안녕하세요! 김줘입니다!! 오늘도 어김없이 데이터 웨어하우스를 이용한 시각화 프로젝트를 진행 중입니다! 매일 블로그에 포스팅을 하려고 하는데,프로젝트 기간에는 쓸 말이 없어서 큰일이에요 ㅋㅋㅋㅋㅋㅋ 우선 오늘은 어제 찾아놓은 서울시 GeoJson을 통해 각 자치구를 기준으로 시각화를 진행하고,팀원 분들을 도와 다양한 차트 작성을 진행하였습니다! 생각보다 superset이 지원하는 범주와 커스텀의 범위가 좁아 많이 불편한 것 같아요. 비용에 문제가 없고 기회가 된다면,Tableau나 PowerBI를 다음 프로젝트에 사용하려고 생각 중입니다! 요즘따라 이렇게 시각화를 하고, 다양한 기술을 써서 그런지 재밌는 것 같아요 ㅋㅋㅋ 더 전달 드릴 말씀이 없어서오늘 포스팅은 여기서 마치도록 하겠습니다! 오늘도 포스팅..