docker buildDockerfile을 기반으로 이미지 빌드Dockerfile이 있는 위치에서 실행'-t' 옵션을 통해 이미지 명과 태그 지정'.', dot을 맨 뒤에 작성하여 현재 위치에서 Dockerfile 빌드 가능MAC 사용 시, 다른 OS와 협업을 위해 '--platform linux/amd64' 옵션 사용 필수docker tag이미지에 태그를 추가하는 명령어이미지에 태그를 추가하여 다른 레지스트리나 이름 지정 가능docker run이미지를 기반으로 컨테이너 실행새로운 컨테이너 시작 시 사용'-d' 옵션을 통해 컨테이너를 백그라운드에서 실행 가능docker exec실행 중인 컨테이너 안에서 명령 실행컨테이너 내부에서 셸을 실행하거나, 특정 애플리케이션 제어 시 사용'-it' 옵션을 통해 상호..

Docker?GO 언어로 작성된 애플리케이션을 빠르고 효율적으로 배포, 실행 및 관리할 수 있도록 도와주는 오픈 소스 플랫폼컨테이너화된 애플리케이션을 통해 개발, 테스트, 배포 과정에서 일관성과 효율성 제공Docker Container애플리케이션을 실행하기 위한 독립적이고 분리된 공간자체 파일 시스템(Volume) 보유장점애플리케이션을 실행하기 위한 독립적, 분리된 공간을 제공하기에, 다수의 애플리케이션을 각 컨테이너단에서 독립적으로 실행 가능적은 리소스 소모(lightweight)Host OS 사용 -> 추가적인 OS 설치가 없기에 빠르게 실행Host OS지원 컨테이너 OSMAC경량화 Linux VMWindowsWindows, LinuxLinuxLinux단점Host OS를 사용하기에 Cross-plat..

안녕하세요! 김줘입니다! 오늘은 Airflow의 Backfill에 대해 추가적인 설명이 이어졌고,Operator를 통한 MySQL -> S3 -> Redshift로의 DAG를 어떻게 만들 수 있는 지에 대한 강의가 이어졌습니다! Operator가 종류가 굉장히 많아서, 내부 파라미터까지 정리하기 위해 저도 공부하고 알아볼 필요가 있을 것 같아서 추후 포스팅할 것 같습니다!해당 이유로 오늘은 Backfill에 대한 포스팅만 존재합니다..2024.11.12 - [데이터/Airflow] - [Airflow] 5. Backfill? 내일부터는 Docker와 K8S에 대한 강의가 순차적으로 이루어질 예정이라, 조금 바빠질 것 같아요!강의가 무시무시하게 많더라구요... 그리고 오늘 새로운 3차 팀원분들과 첫 스크럼..

Backfill?실패한 데이터 파이프라인을 재실행 or 읽어온 데이터의 문제로 다시 읽어와야하는 경우를 의미Airflow에서의 Backfill과거 특정 날짜에 대한 DAG 실행을 수동으로 수행하여 데이터 파이프라인을 다시 실행하는 과정새로운 DAG를 추가하거나, DAG의 설정을 변경한 후, 누락된 과거 데이터를 처리하기 위해 사용Backfill의 주요 목적데이터 누락 방지 : 과거 DAG가 실행되지 않아서 누락된 데이터를 채우는 데 사용데이터 갱신 : 과거 DAG에 에러가 발생한 경우, 과거 데이터를 갱신하기 위해 사용데이터 재처리 : 데이터 처리 로직이 변경된 후 과거 데이터를 새 로직에 맞게 재처리하기 위해 사용Backfill 관련 Airflow 변수start_dateDAG가 처음 실행되는 날짜가 ..

안녕하세요! 김줘입니다!! 오늘은 커리큘럼 상으로는 11주차이지만,왜인지는 모르겠지만(?) 저에게는 9주차인 날이면서 빼빼로데이입니다! 물론 저는 빼빼로를 하나도 받지 못했습니다...익숙해요.. 이제는... 오늘은 Airflow의 설정과 빅데이터 기반 데이터 웨어하우스에서 기본 키를 보장하는 방법, backfill에 기초적인 이론에 대해 학습했습니다!2024.11.11 - [데이터/Airflow] - [Airflow] 4. Airflow.cfg?2024.11.11 - [데이터] - [데이터] Primary Key Uniqueness? 오늘 Backfill까지 정리를 하려고 했지만,내일 강의에서 추가로 설명이 될 것 같아, 아직 작성하지 않았습니다! Backfill에 대한 내용의 설명이 끝나면, 추가로 포..