[데이터 엔지니어링 데브코스 4기] 7주차 10/29 TIL
·
데이터 엔지니어링 데브코스
안녕하세요!! 김줘입니다. 오늘은 데이터 웨어하우스에 대한 강의가 진행되었습니다! 강사분도 바뀌었고 배우는 기술도 데엔의 핵심인 기술인 것도 있지만,강의가 자세하고 교안도 그나마 최신에다가 설명이 정말 좋아서 너무너무너무 만족스러워요. 개인적으로 AWS 강의는 전면 개편을 해야한다고 생각하지만,데이터 파트는 오히려 기간과 양을 늘려서 더 배우고 싶다는 생각이 들었습니다. 괜히 유명하신 분이 아닌 것 같아요..진짜 최악을 경험해서 그런지 체감이 더 ㅋㅋㅋㅋㅋㅋ 오늘 공부한 내용은2024.10.29 - [데이터] - [데이터] 데이터 웨어하우스?2024.10.29 - [데이터] - [데이터] 데이터 레이크?2024.10.29 - [AWS] - [데이터, AWS] 15. Redshift? 이렇게 이론만 정리했..
[데이터, AWS] 15. Redshift?
·
AWS
Redshift?AWS에서 제공하는 완전 관리형 클라우드 기반 데이터 웨어하우스 서비스!대규모 데이터 세트를 빠르게 분석하고 복잡한 쿼리를 처리할 수 있도록 설계관계형 데이터베이스와 유사한 SQL 쿼리를 지원Redshift의 특징2PB의 데이터까지 처리 가능(최소 160GB)Still OLAP : 응답속도가 빠르지 않아, 프로덕션 데이터베이스로 사용 불가컬럼 기반 스토리지레코드 별로 저장하는 것이 아닌, 컬럼 별 저장컬럼별 압축이 가능하며, 컬럼의 추가, 삭제 작업이 매우 빠름!벌크 업데이트 지원 : 레코드가 들어있는 파일을 S3로 복사 후 COPY 커맨드로 Redshift로의 일괄 복사 가능!데이터 공유(Datashare) : 다른 AWS 계정과 특정 데이터 공유 가능!Primary Key Unique..
[AWS] 14. Lambda
·
AWS
Lambda?AWS Lambda는 서버를 직접 관리하지 않고도 코드를 실행할 수 있는 서버리스 컴퓨팅 서비스입니다!AWS에서 기본적인 인프라 설정, 관리, 확장 등을 자동으로 처리하기에, Lambda가 지원하는 언어로 실행시키고자 하는 코드만 제공!이벤트 기반으로 작동하기에, 이벤트 발생 시에만 코드가 실행되므로 비용 효율적!Lambda 특징서버리스 아키텍쳐서버를 직접 관리할 필요 없이 함수 단위로 코드를 작성하고 배포!코드 실행을 위해 서버를 준비하거나 운영하는 과정 필요 X이벤트 기반 실행API Gateway, S3, DynamoDB, Kinesis와 같은 다양한 AWS 서비스와 통합되어 특정 이벤트가 발생하면 자동으로 트리거!-> ex) S3 버킷에 파일을 업로드할 때마다 파일을 처리하는 Lambd..