안녕하세요! 김줘입니다! 오늘도 어김없이 두번째 프로젝트를 진행하고 있습니다!! 프로젝트는 그래도 진척은 있지만, 애매한 점이 좀 있는 것 같아요. 우선, '데이터 웨어하우스와 데이터 마트의 근본적인 차이와 현재 데이터로 어느 것을 구성해야 하고, 구성 방향을 어떻게 해야하는가'이 생각을 계속 하게 되네요 팀원 모두 착하고 친절한 분들이라 재밌게 진행은 하고 있는데,정확한 방향성이 어떤 것인지 계속해서 생각하게 되네요. 오늘 진행한 내용을 간단히 얘기하자면,1. 원본 데이터 정규화 (너무 과하게 정규화 한 것 같다는 생각..)2. 정규화한 데이터를 토대로 데이터 구조 재구성3. 재구성 한 구조를 대상으로 세부 주제 재설정 및 쿼리 작성 입니다! 결과물을 만들게 된다면 포스팅해볼게요! 항상 감사합니다 여러..

안녕하세요!! 김줘입니다!! 오늘부터 2차 프로젝트 기간이에요! 이번 팀원분들은 굉장히 적극적이라서 재미있게 하고있습니다! 어떤 프로젝트인지 설명드리자면!데이터 웨어하우스와 시각화 툴을 이용해서, 저희가 수집한 데이터를 적재하고 시각화 대시보드를 만드는 프로젝트입니다! 지난번에 진행한 프로젝트보다는 훨씬 간단한 것 같아요! (자동화를 안하는 방안으로 해서..) 프로젝트하느라 당분간 짧은 인사와 진행사항만 말씀드리고 마치겠습니다! 오늘도 포스팅 봐주시는 여러분 감사합니다!!

안녕하세요! 김줘입니다! 어제부터 오늘 저녁까지 뻘짓을 하다 왔습니다.. 중간에 자취를 했을 때와, 이사 전 본가에서는 분명히 포트포워딩 후 DB 원격접속이 가능했는데, 새로운 집에서는 안되길래...하루종일 설정을 만지다 왔습니다... 결론은 해결하지 못했습니다...공유기가 모뎀에 물려있어서 모뎀도 포트포워딩을 해주는 식으로 해야하는데, 모뎀이 집에 있는게 아니라,이웃들의 동의를 구하거나 통신사에 문의를 해야한다고 하더군요..ㅠ 기술적 문제가 아닌, 더 난감한 문제에 부딪혀 포기를 했습니다.. Redshift 비용이 너무 빠르게 달아서 PostgreSql 서버를 열어서 사용하려했는데.. 후 오늘은 DB 원격 접속에 집중하여 빡세게 블로그 포스팅을 하지는 못했지만,2024.10.31 - [데이터] - [데..

Apache Superset?Apache Superset은 데이터 시각화와 BI를 위한 오픈소스 웹 어플리케이션!데이터를 효율적으로 분석하고 시각화하기 위해 사용SQL 쿼리를 통해 데이터베이스와 연결하여 대시보드나 차트 형식으로 데이터를 시각화하고, 인사이트 도출!Apache Superset 주요 기능대시보드 및 차트 생성 : 데이터를 다양한 차트 형식으로 시각화할 수 있으며, 대시보드를 생성하여 여러 시각화 자료를 한 화면에 구성 가능!다양한 데이터베이스 지원 : MySQL, PostgreSQL, Oracle, Snowflake 등 다양한 SQL 기반 데이터베이스를 지원하며, SQLAlchemy를 통해 다른 데이터 소소와도 연동 가능!간단한 데이터 탐색 : 데이터 탐색 및 분석을 쉽게 할 수 있는 UI..

Snowflake?Snowflake는 데이터 웨어하우스 솔루션으로, 클라우드 기반에서 대규모 데이터를 효율적으로 처리하고 분석할 수 있는 플랫폼!AWS, Azure, GCP 등 다양한 클라우드 위에서 운영 가능!대량의 데이터를 저장, 관리, 분석하는 데 최적화!인프라 관리 없이 쉽게 확장 가능하고, 비용 효율적으로 사용 가능!Snowflake 특징스토리지와 컴퓨팅 인프라가 별도로 설정되는 가변 비용 모델!SQL 기반으로 빅데이터 저장, 처리, 분석 가능!-> 비구조화된 데이터 처리와 머신러닝 기능도 제공!CSV, JSON, Avro 등 다양한 데이터 포맷 지원!-> S3, GC 클라우드 스토리지, Azure Blog Storage 지원!배치 데이터 중심이지만, 실시간 데이터 처리도 지원!Time Trav..