안녕하세요! 김줘입니다. 오늘은 데이터 파이프라인이 어떤 것인지에 대한 설명과 Airflow 이론에 대한 설명이 진행되었습니다! 주로 데이터 파이프라인, 에어플로우에 관련되어 설명이 이루어져 간단하게 이론을 정리하고 공부했습니다! 2024.11.07 - [데이터/Airflow] - [Airflow] 1. Airflow? 다음 주면, 이제 3차팀을 구성하게 되는데, 지금 팀원분들과 많이 이야기도 나누고 친해진 것 같아 뭔가 아쉬운 것 같아요. 새로운 팀이 구성되면,분위기가 어떨지도 궁금도 하지만, 너무 빠르게 팀이 바뀌다 보니, 서로 편하게 이야기할 수 있어질 때 쯤 끝나는 게 온라인 부트캠프 기준으로는 안좋은 것 같아요 ㅋㅋㅋㅋ 그래도 좋은 분들을 만나 2주동안 재밌게 할 수 있었던 것 같습니다. 많이 ..

안녕하세요! 김줘입니다! 오늘도 어김없이 두번째 프로젝트를 진행하고 있습니다!! 프로젝트는 그래도 진척은 있지만, 애매한 점이 좀 있는 것 같아요. 우선, '데이터 웨어하우스와 데이터 마트의 근본적인 차이와 현재 데이터로 어느 것을 구성해야 하고, 구성 방향을 어떻게 해야하는가'이 생각을 계속 하게 되네요 팀원 모두 착하고 친절한 분들이라 재밌게 진행은 하고 있는데,정확한 방향성이 어떤 것인지 계속해서 생각하게 되네요. 오늘 진행한 내용을 간단히 얘기하자면,1. 원본 데이터 정규화 (너무 과하게 정규화 한 것 같다는 생각..)2. 정규화한 데이터를 토대로 데이터 구조 재구성3. 재구성 한 구조를 대상으로 세부 주제 재설정 및 쿼리 작성 입니다! 결과물을 만들게 된다면 포스팅해볼게요! 항상 감사합니다 여러..

안녕하세요!! 김줘입니다! 오늘은 어제 학습한 Redshift에 대한 실습을 진행하였습니다. 직접 S3에 데이터를 적재하고 Redshift에 COPY하여 테이블에 데이터를 넣고, 새롭게 분석용 테이블을 만드는 등 재밌는 실습이 많았어요! 아무래도 실습 위주였기에 오늘 추가적인 포스팅은 하지 않고,코딩테스트 문제를 개인적으로 풀고, 늦은 저녁에 멘토님과 1대1 미팅을 진행할 것 같아요! 새롭게 알게되는 지식과 내용에 대해서는 꾸준히 포스팅하고 있으니,앞으로도 블로그 잘 봐주세요! 오늘도 포스팅 봐주시는 여러분 감사합니다!!