[데이터 엔지니어링 데브코스 4기] 9주차 11/14 TIL
·
데이터 엔지니어링 데브코스
안녕하세요! 김줘입니다!! 오늘도 어김없이 Docker에 대한 강의가 이어졌습니다. 대부분 실습 위주의 긴 수업이라 시간적으로 너무 오래 걸리는 것 같아요 ㅋㅋㅋ 그래도 뒤쳐지지 않고 따라가고자 합니다! 오늘 정리한 내용은 아래 포스팅에서 확인하실 수 있습니다!! 2024.11.14 - [Docker] - [Docker] 4. Volume? Mount? 벌써부터 3차 프로젝트 주제를 정하고 있는데,어떤 주제를 해야할 지 필이 딱 안오네요 ㅋㅋㅋ 아마 환율 + 원자재(금, 은, 석유 등) + 미국 증시와 같은 데이터를 결합하여,Airflow, API, AWS를 사용하여 데이터 웨어하우스를 구축하고, 기회가 된다면 마트까지 구축하여 시각화 하는 프로젝트가 될 것 같습니다! 이번에도 프로젝트에 열심히 참여하여..
[데이터 엔지니어링 데브코스 4기] 9주차 11/13 TIL
·
데이터 엔지니어링 데브코스
안녕하세요! 김줘입니다!! 오늘은 Docker에 대한 강의가 진행되었습니다!! 양이 정말 어마무시하게 많았어요.. 이론도 이론이지만 헷갈리는 부분도 많았고, 실습도 많아서 시간이 오래걸렸어요..정리 내용은 해당 포스팅에서 확인하실 수 있습니다! 2024.11.13 - [Docker] - [Docker] 1. Docker?2024.11.13 - [분류 전체보기] - [Docker] 2. Docker 기본 명령어2024.11.13 - [Docker] - [Docker] 3. Docker Hub? 우선 한 번 따라하고, 정리한 다음, 계속해서 실습하며 이해를 할 필요가 있다고 생각해서 제가 정리한 내용을 시간 날 때마다 한번씩 훑어 볼 예정입니다! 그리고 이번 3차팀 멘토님이 굉장히 좋은 분이신 것 같아요!팀..
[데이터 엔지니어링 데브코스 4기] 9주차 11/12 TIL
·
데이터 엔지니어링 데브코스
안녕하세요! 김줘입니다! 오늘은 Airflow의 Backfill에 대해 추가적인 설명이 이어졌고,Operator를 통한 MySQL -> S3 -> Redshift로의 DAG를 어떻게 만들 수 있는 지에 대한 강의가 이어졌습니다! Operator가 종류가 굉장히 많아서, 내부 파라미터까지 정리하기 위해 저도 공부하고 알아볼 필요가 있을 것 같아서 추후 포스팅할 것 같습니다!해당 이유로 오늘은 Backfill에 대한 포스팅만 존재합니다..2024.11.12 - [데이터/Airflow] - [Airflow] 5. Backfill? 내일부터는 Docker와 K8S에 대한 강의가 순차적으로 이루어질 예정이라, 조금 바빠질 것 같아요!강의가 무시무시하게 많더라구요... 그리고 오늘 새로운 3차 팀원분들과 첫 스크럼..