[Airflow] 실패한 테스크를 자동으로 복구하는 Retry 전략

데이터 파이프라인 운영에서 가장 피곤한 일은 새벽에 날아오는 ‘태스크 실패’ 알림입니다. 하지만 모든 실패가 치명적인 결함은 아닙니다. 네트워크 일시 오류, API 레이트 리밋, 일시적인 리소스 부족 등은 **자동 재시도(Retry)**만으로도 충분히 해결될 수 있습니다.

Apache Airflow의 AWS ECS Executor로 워크플로우 실행하기(2)

Airflow에서 ECS Executor 실행기를 통해 워크플로우를 AWS ECS에서 제공하는 서버리스 컨테이너 서비스인 AWS Fargate를 사용하여 작업이 실행되는 동안에만 과금이 되는 효율적이고 안정적인 에어플로우 플랫폼 구축하기

Apache Airflow의 AWS ECS Executor로 워크플로우 실행하기(1)

Airflow에서 ECS Executor 실행기를 통해 워크플로우를 AWS ECS에서 제공하는 서버리스 컨테이너 서비스인 AWS Fargate를 사용하여 작업이 실행되는 동안에만 과금이 되는 효율적이고 안정적인 에어플로우 플랫폼 구축하기

Apache Airflow AWS Lambda Executor로 워크플로우 실행하기(2)

AWSLambdaExecutor가 기존의 Celery나 Kubernetes Executor와 비교했을 때 어떤 장점을 갖는지 살펴보고, 실제 환경에서 이를 어떻게 설정하고 활용할 수 있는지 알아보겠습니다.

Apache Airflow AWS Lambda Executor로 워크플로우 실행하기(1)