안녕하세요! 김줘입니다!! 오늘은 커리큘럼 상으로는 11주차이지만,왜인지는 모르겠지만(?) 저에게는 9주차인 날이면서 빼빼로데이입니다! 물론 저는 빼빼로를 하나도 받지 못했습니다...익숙해요.. 이제는... 오늘은 Airflow의 설정과 빅데이터 기반 데이터 웨어하우스에서 기본 키를 보장하는 방법, backfill에 기초적인 이론에 대해 학습했습니다!2024.11.11 - [데이터/Airflow] - [Airflow] 4. Airflow.cfg?2024.11.11 - [데이터] - [데이터] Primary Key Uniqueness? 오늘 Backfill까지 정리를 하려고 했지만,내일 강의에서 추가로 설명이 될 것 같아, 아직 작성하지 않았습니다! Backfill에 대한 내용의 설명이 끝나면, 추가로 포..

안녕하세요!! 오늘도 인사드리는 김줘입니다. 오늘은 드디어 본격적인 데이터 엔지니어링을 배우기 앞서 AWS 강의가 진행되었습니다!!!! 오늘 배운 내용을 모두 정리하여 포스팅하고 싶었지만...늦잠, 게으름 이슈 + 단위기간이 내일까지이기에 출석률을 채우기 위해, 많은 강의를 듣고, 과제 제출만 하면 되는 내일! 포스팅을 진행하기로 결정했습니다! 오늘은 별 다른 이슈가 없어서 쓸 말이 많이 없네요! ㅋㅋㅋ 간단하게 정리하자면, AWS에서 EC2 생성법과 다양한 AWS의 어플리케이션에 대해 강의가 진행되었다고 할 수 있겠네요! 오늘은 좀 게으른 하루를 보내서인지... 블로그도 늦게 적네요 ㅋㅋㅋㅋㅋ 그래도 팀원 분들의 질문에 많은 답변을 해드렸답니다!SQL의 기술적인 부분에 대한 것, 데이터베이스 권한에 대..

오늘은 어제보다는 괜찮은 김줘입니다! 드디어 1차 프로젝트의 일정표 상 마지막 날이 되었습니다. 방금 멘토님과 팀 미팅을 끝마치고 이 글을 작성 중에 있는데요! 흠..사실 다른 팀의 결과물에 비해 저희 팀 결과물은 굉장히 소박하다고 생각합니다. 사용한 데이터의 양도 적고, 크롤링도 일회성으로 사용했고.. 모델에 이미 데이터를 모두 넣어놓아서.. api의 활용 없이 진행했으니.. 소박할 수 밖에 없겠죠........ 멘토님은 그래도 파이썬에 익숙하지 않고, Django를 처음 쓰는 3명이서 3일만에 이렇게 한 건 잘한 것이라는 말을 해주셨지만...그 뒤에 추후에 한 번만 크롤하는 것이 아닌, 스케줄을 두고 크롤하고, api를 더 활용하게 하면 좋겠다라는 리뷰를 해주셨지만, 아마도 저는 해당 프로젝트는 더 ..