[태그:] Pipeline

[Airflow] 실패한 테스크를 자동으로 복구하는 Retry 전략

데이터 파이프라인 운영에서 가장 피곤한 일은 새벽에 날아오는 ‘태스크 실패’ 알림입니다. 하지만 모든 실패가 치명적인 결함은 아닙니다. 네트워크 일시 오류, API 레이트 리밋, 일시적인 리소스 부족 등은 **자동 재시도(Retry)**만으로도 충분히 해결될 수 있습니다.

Airflow의 Dynamic Task Mapping으로 동적 태스크 실행하기

Airflow에서 특정 태스크 개수가 동적으로 실행되어야 할때, Airflow Dynamic Task Mapping을 사용할 수 있습니다.