[데이터 엔지니어링 데브코스 4기] 7주차 10/29 TIL
·
데이터 엔지니어링 데브코스
안녕하세요!! 김줘입니다. 오늘은 데이터 웨어하우스에 대한 강의가 진행되었습니다! 강사분도 바뀌었고 배우는 기술도 데엔의 핵심인 기술인 것도 있지만,강의가 자세하고 교안도 그나마 최신에다가 설명이 정말 좋아서 너무너무너무 만족스러워요. 개인적으로 AWS 강의는 전면 개편을 해야한다고 생각하지만,데이터 파트는 오히려 기간과 양을 늘려서 더 배우고 싶다는 생각이 들었습니다. 괜히 유명하신 분이 아닌 것 같아요..진짜 최악을 경험해서 그런지 체감이 더 ㅋㅋㅋㅋㅋㅋ 오늘 공부한 내용은2024.10.29 - [데이터] - [데이터] 데이터 웨어하우스?2024.10.29 - [데이터] - [데이터] 데이터 레이크?2024.10.29 - [AWS] - [데이터, AWS] 15. Redshift? 이렇게 이론만 정리했..
[데이터] 데이터 레이크?
·
데이터
Data Lake?다양한 원시 데이터를 포함하여 구조화 데이터, 반구조화 데이터, 비구조화 데이터를 대규모로 저장하는 중앙 집중형 저장소! Data Lake의  특징원시 데이터 저장 : 정형 데이터(SQL 데이터베이스, CSV 파일 등)와 비정형 데이터(이미지, 텍스트, 로그 등)의 원래 형태를 유지한 채 저장 가능!유연한 스키마 : 데이터 저장 시 스키마 정의가 필요하지 않고, 데이터 분석이나 처리 시에 필요에 따라 스키마를 적용!확장성 : 대용량 데이터를 비용 효율적으로 저장할 수 있는 Scalable 저장소(보통 클라우드 스토리지)를 사용하여, 스토리지 용량을 자유롭게 확장 가능!다양한 데이터 분석 지원 : BI, 빅데이터 분석, 머신러닝 등 다양한 분석 작업 지원!데이터 웨어하우스 vs 데이터 레..