목록2025/04/23 (1)
HwangHub
Airflow Scheduler (Airflow 3.0 기준)
작성하던 글이 날아가버린 상태에서 처음부터 다시 작성합니다... 그냥 뭐, 속상하다는 말이 하고 싶었습니다.📌 TL;DR — Airflow Scheduler 코드 레벨 분석Airflow 스케줄러는 CLI 명령어로 시작되며, SchedulerJobRunner가 DAG 파싱, TaskInstance 스케줄링, Executor 상태 관리 등을 수행하는 중심 객체다. _run_scheduler_loop() 내에서 반복적으로 DAG 상태를 확인하고 실행 가능한 태스크를 큐에 추가하며, Executor를 통해 병렬로 실행된다.스케줄러는 여러 Executor와 병렬 작업을 지원하지만, TaskInstance 중복 실행을 방지하기 위해 PostgreSQL의 advisory lock을 활용한 Critical Secti..
workspace/mlops
2025. 4. 23. 18:01