[Airflow] 4. Airflow.cfg?

Airflow.cfg?

• Airflow.cfg는 Apache Airflow의 주요 설정 파일
• Airflow의 다양한 기능과 컴포넌트의 동작 방식을 정의하는 데 사용
  
  

주요 섹션과 설정 항목

[core]

• Airflow의 전반적인 설정을 하는 섹션
• 설정 항목
  • dags_folder : DAG 파일이 위치한 폴더 경로를 정의
  • executor : Task 실행에 사용할 executor 정의
  • sql_alchemy_conn : Airflow 메타데이터 데이터베이스의 연결 문자열
  • load_examples : True로 설정 시 Airflow 기본 예제 DAG 로드
  • default_timezone : Airflow 전체에서 기본적으로 사용할 Timezone 설정

[webserver]

• Airflow 웹 서버 관련 설정
• 설정 항목
  • base_url : Airflow 웹 서버의 기본 URL 정의
  • web_server_port : 웹 서버가 사용할 포트 설정
  • web_server_worker_timeout : 웹 서버 작업자 프로세스의 Timeout 시간
  • authenticate : True로 설정 시 인증이 필요한 웹 UI 활성화
  • default_ui_timezone : 웹 서버 UI에서 시간을 표시할 때 사용할 Timezone 설정

[scheduler]

• 스케줄러 설정 정의
• 설정 항목
  • job_heartbeat_sec : 스케줄러 작업의 하트비트 주기 설정
  • scheduler_heartbeat_sec : 스케줄러의 하트비트 주기 설정
  • max_active_runs_per_dag : 각 DAG의 최대 활성 실행 수 설정
  • catchup_by_default : True인 경우 DAG가 중단된 구간을 따라잡아 실행
  • dag_dir_list_interval : DAG의 변화나 추가의 스캔 주기를 설정 (default 300s)

[celery]

• CeleryExecutor 사용 시 필요 설정
• 설정 항목
  • broker_url : 작업 대기열을 관리하는 브로커의 연결 URL
  • result_backend : 작업 결과를 저장할 백엔드 URL

[logging]

• Airflow의 로깅 구성 정의
• 설정 항목
  • base_log_folder : 로그 파일이 저장되는 기본 폴더
  • remote_logging : True로 설정 시 로그를 원격 스토리지에 저장
  • log_level : 로깅 수준 정의

[api]

• Airflow REST API 설정 정의
• 설정 항목
  • auth_backends : API 인증에 사용할 백엔드 정의