이 태민 | 플러스제로

다음 행사도 기대해주세요!

이 태민

Blog, Tech

2025년 12월

[Data Engineering] 데이터 효율의 핵심: 증분 적재(Incremental Load) 5가지 패턴 분석

모든 데이터를 매번 다시 읽어오는 Full Load 방식은 데이터 규모가 커질수록 비용과 시간 면에서 한계에 직면합니다. 변화된 데이터만 추출하여 저장하는 **증분 적재(Incremental Load)**는 현대 데이터 파이프라인의 필수 요소입니다. 본 포스팅에서는 실무에서 가장 많이 쓰이는 5가지 적재 패턴을 분석합니다.

이 태민

Blog, Tech

2025년 12월

[Airflow] 실패한 테스크를 자동으로 복구하는 Retry 전략

데이터 파이프라인 운영에서 가장 피곤한 일은 새벽에 날아오는 '태스크 실패' 알림입니다. 하지만 모든 실패가 치명적인 결함은 아닙니다. 네트워크 일시 오류, API 레이트 리밋, 일시적인 리소스 부족 등은 **자동 재시도(Retry)**만으로도 충분히 해결될 수 있습니다.

이 태민

Tech, Blog

2025년 12월

[Airflow] 견고한 파이프라인을 위한 DAG 설계 원칙

데이터 엔지니어링 실무에서 Airflow를 사용하다 보면, 단순히 "실행이 잘 되는" DAG를 만드는 것을 넘어 "장애에 강하고 유지보수가 쉬운" DAG를 만드는 것이 얼마나 중요한지 깨닫게 됩니다. 잘못 설계된 DAG는 재실행 시 데이터를 중복시키거나, 사소한 실패에도 전체 파이프라인을 마비시키곤 하죠. 오늘은 안정적인 데이터 파이프라인 구축을 위해 반드시 지켜야 할 Airflow DAG 설계 6계명을 정리해 보았습니다.

이 태민

Blog, Tech

2025년 12월

Apache Airflow의 AWS ECS Executor로 워크플로우 실행하기(2)

Airflow에서 ECS Executor 실행기를 통해 워크플로우를 AWS ECS에서 제공하는 서버리스 컨테이너 서비스인 AWS Fargate를 사용하여 작업이 실행되는 동안에만 과금이 되는 효율적이고 안정적인 에어플로우 플랫폼 구축하기

이 태민

Blog, Tech

2025년 12월

Apache Airflow의 AWS ECS Executor로 워크플로우 실행하기(1)

Airflow에서 ECS Executor 실행기를 통해 워크플로우를 AWS ECS에서 제공하는 서버리스 컨테이너 서비스인 AWS Fargate를 사용하여 작업이 실행되는 동안에만 과금이 되는 효율적이고 안정적인 에어플로우 플랫폼 구축하기

이 태민

Tech, Blog

2025년 12월

Apache Airflow AWS Lambda Executor로 워크플로우 실행하기(2)

AWSLambdaExecutor가 기존의 Celery나 Kubernetes Executor와 비교했을 때 어떤 장점을 갖는지 살펴보고, 실제 환경에서 이를 어떻게 설정하고 활용할 수 있는지 알아보겠습니다.

이 태민