[데이터 엔지니어링 데브코스 4기] 8주차 11/4 TIL
·
데이터 엔지니어링 데브코스
안녕하세요! 김줘입니다! 오늘도 어김없이 두번째 프로젝트를 진행하고 있습니다!! 프로젝트는 그래도 진척은 있지만, 애매한 점이 좀 있는 것 같아요. 우선, '데이터 웨어하우스와 데이터 마트의 근본적인 차이와 현재 데이터로 어느 것을 구성해야 하고, 구성 방향을 어떻게 해야하는가'이 생각을 계속 하게 되네요 팀원 모두 착하고 친절한 분들이라 재밌게 진행은 하고 있는데,정확한 방향성이 어떤 것인지 계속해서 생각하게 되네요. 오늘 진행한 내용을 간단히 얘기하자면,1. 원본 데이터 정규화 (너무 과하게 정규화 한 것 같다는 생각..)2. 정규화한 데이터를 토대로 데이터 구조 재구성3. 재구성 한 구조를 대상으로 세부 주제 재설정 및 쿼리 작성 입니다! 결과물을 만들게 된다면 포스팅해볼게요! 항상 감사합니다 여러..
[데이터 엔지니어링 데브코스 4기] 7주차 11/1 TIL
·
데이터 엔지니어링 데브코스
안녕하세요!! 김줘입니다!! 오늘부터 2차 프로젝트 기간이에요! 이번 팀원분들은 굉장히 적극적이라서 재미있게 하고있습니다! 어떤 프로젝트인지 설명드리자면!데이터 웨어하우스와 시각화 툴을 이용해서, 저희가 수집한 데이터를 적재하고 시각화 대시보드를 만드는 프로젝트입니다! 지난번에 진행한 프로젝트보다는 훨씬 간단한 것 같아요! (자동화를 안하는 방안으로 해서..) 프로젝트하느라 당분간 짧은 인사와 진행사항만 말씀드리고 마치겠습니다! 오늘도 포스팅 봐주시는 여러분 감사합니다!!
[데이터 엔지니어링 데브코스 4기] 7주차 10/31 TIL
·
데이터 엔지니어링 데브코스
안녕하세요! 김줘입니다! 어제부터 오늘 저녁까지 뻘짓을 하다 왔습니다.. 중간에 자취를 했을 때와, 이사 전 본가에서는 분명히 포트포워딩 후 DB 원격접속이 가능했는데, 새로운 집에서는 안되길래...하루종일 설정을 만지다 왔습니다... 결론은 해결하지 못했습니다...공유기가 모뎀에 물려있어서 모뎀도 포트포워딩을 해주는 식으로 해야하는데, 모뎀이 집에 있는게 아니라,이웃들의 동의를 구하거나 통신사에 문의를 해야한다고 하더군요..ㅠ 기술적 문제가 아닌, 더 난감한 문제에 부딪혀 포기를 했습니다.. Redshift 비용이 너무 빠르게 달아서 PostgreSql 서버를 열어서 사용하려했는데.. 후 오늘은 DB 원격 접속에 집중하여 빡세게 블로그 포스팅을 하지는 못했지만,2024.10.31 - [데이터] - [데..