[데이터 엔지니어링 데브코스 4기] 5주차 10/18 TIL
·
데이터 엔지니어링 데브코스
안녕하세요, 김줘입니다! 오늘은 프로젝트 기간이 완전히 종료되고, 새로운 분야의 강의가 시작되었습니다! 바로 데이터베이스, 데이터 웨어하우스에 대한 강의입니다!! 강의에서는 어떤 데이터 웨어하우스가 있는지, 클라우드에는 어떤 것이 있는지 강의가 여러 기술을 설명하는 식으로 이루어져서 해당 강의를 통한 포스팅을 당장 작성하는 데에는 무리가 있다고 생각이 들어요! 그렇기에 추후에 강의가 이어지고 실습이 이어지면서 포스팅을 하게 될 예정입니다! 대상으로는1. Redshift2. Spark3. 데이터베이스 이론 등 이 있을 것 같아요! 추후 계획은 뒤로하고,오늘 들은 강의에 대해 더 말하자면, 저는 그래도 데이터 분야에서 일한 경력이 있기에, 그 관점에서 말하자면.. 클라우드 상에서의 데이터베이스와 해당 이론에..
[데이터 엔지니어링 데브코스 4기] 5주차 10/17 TIL
·
데이터 엔지니어링 데브코스
오늘은 어제보다는 괜찮은 김줘입니다! 드디어 1차 프로젝트의 일정표 상 마지막 날이 되었습니다. 방금 멘토님과 팀 미팅을 끝마치고 이 글을 작성 중에 있는데요! 흠..사실 다른 팀의 결과물에 비해 저희 팀 결과물은 굉장히 소박하다고 생각합니다. 사용한 데이터의 양도 적고, 크롤링도 일회성으로 사용했고.. 모델에 이미 데이터를 모두 넣어놓아서.. api의 활용 없이 진행했으니.. 소박할 수 밖에 없겠죠........ 멘토님은 그래도 파이썬에 익숙하지 않고, Django를 처음 쓰는 3명이서 3일만에 이렇게 한 건 잘한 것이라는 말을 해주셨지만...그 뒤에 추후에 한 번만 크롤하는 것이 아닌, 스케줄을 두고 크롤하고, api를 더 활용하게 하면 좋겠다라는 리뷰를 해주셨지만, 아마도 저는 해당 프로젝트는 더 ..
[데이터 엔지니어링 데브코스 4기] 5주차 10/16 TIL
·
데이터 엔지니어링 데브코스
안녕하세요! 오늘은 조금 많이 우울한 김줘입니다..오늘도 TIL 보다는 일기와 같은 회고록이 될 것 같아요. 프로젝트 시작한 지 얼마 되지 않았지만,처음 구상했던 기능은 모두 개발이 완료되어 오늘은 팀원들과 보고서를 일부 작성하고, 여러 이야기를 나눴습니다. 이번 프로젝트는 Django 메인 사용이지만,데이터 엔지니어의 관점에서는 너무 자세하게 Django를 이해하려는 것 보다는 Rest API의 이론 학습을 추가로 하는 것이 낫다는 이야기와..가장 메인인 취업 이야기였습니다. 저는 DBA로 1년정도 일했기에,막연히 그래도 경력이 있는 데이터 분야에서 계속 일해야지. 라는 생각을 갖고 있습니다. 그렇기에 DBA, 데이터 엔지니어, 데이터 분석가 등 다양한 데이터 직무에 관심이 있습니다.항상 살펴보던 사이..