[데이터 엔지니어링 데브코스 4기] 9주차 11/11 TIL
·
데이터 엔지니어링 데브코스
안녕하세요! 김줘입니다!! 오늘은 커리큘럼 상으로는 11주차이지만,왜인지는 모르겠지만(?) 저에게는 9주차인 날이면서 빼빼로데이입니다! 물론 저는 빼빼로를 하나도 받지 못했습니다...익숙해요.. 이제는... 오늘은 Airflow의 설정과 빅데이터 기반 데이터 웨어하우스에서 기본 키를 보장하는 방법, backfill에 기초적인 이론에 대해 학습했습니다!2024.11.11 - [데이터/Airflow] - [Airflow] 4. Airflow.cfg?2024.11.11 - [데이터] - [데이터] Primary Key Uniqueness? 오늘 Backfill까지 정리를 하려고 했지만,내일 강의에서 추가로 설명이 될 것 같아, 아직 작성하지 않았습니다! Backfill에 대한 내용의 설명이 끝나면, 추가로 포..
[데이터 엔지니어링 데브코스 4기] 5주차 10/16 TIL
·
데이터 엔지니어링 데브코스
안녕하세요! 오늘은 조금 많이 우울한 김줘입니다..오늘도 TIL 보다는 일기와 같은 회고록이 될 것 같아요. 프로젝트 시작한 지 얼마 되지 않았지만,처음 구상했던 기능은 모두 개발이 완료되어 오늘은 팀원들과 보고서를 일부 작성하고, 여러 이야기를 나눴습니다. 이번 프로젝트는 Django 메인 사용이지만,데이터 엔지니어의 관점에서는 너무 자세하게 Django를 이해하려는 것 보다는 Rest API의 이론 학습을 추가로 하는 것이 낫다는 이야기와..가장 메인인 취업 이야기였습니다. 저는 DBA로 1년정도 일했기에,막연히 그래도 경력이 있는 데이터 분야에서 계속 일해야지. 라는 생각을 갖고 있습니다. 그렇기에 DBA, 데이터 엔지니어, 데이터 분석가 등 다양한 데이터 직무에 관심이 있습니다.항상 살펴보던 사이..
[데이터 엔지니어링 데브코스 4기] 5주차 10/15 TIL
·
데이터 엔지니어링 데브코스
오늘도 어김없이 찾아온..김..줘..입니다! 어제 포스팅에서 말씀드렸다시피, 이번 주는 데브코스의 첫번째 프로젝트를 진행 중 입니다! 만개의 레시피 크롤링 및 시각화를 통한 Django 웹 페이지를 구성하는 주제로 꾸준히 개발을 하고 있습니다!(Chatgpt가 98퍼 해준 건 함정..) 제가 진행한 부분은초기 데이터 크롤링 및 데이터 구축, 메인 페이지, 시각화 페이지 구성 등 대부분의 작업을 진행했습니다..! 이게 맞는건가.. 싶긴한데,저 또한 잘 모르더라도 요즘 시대에는 순수한 개발 능력도 중요하지만 Chatgpt와 구글링 활용 능력이 더욱 중요하다고 생각하기에, 그러려니 넘어가려합니다..(그래도 묻어가려는 사람은 좀... 그래요..) 인원이 적다보니 Django가 지원해주는 기능을 통해 구현하고 있..