염영인 이력서
  • 질문하기
  • 경력
  • 프로젝트
  • 기술
이전 대표 사례결제 멱등성 및 상태 정합성 확보위로 계속 스크롤하면 넘어가요
대표 사례

대표 사례 2/4 · 메시지 큐·장애 격리

메시지 큐 기반 비동기 처리 시스템 구축

RabbitMQ 기반으로 예약 후속 작업과 알림 처리를 비동기화하고, AWS SQS를 활용해 알림 발송, 결제 취소·환불, 결제수단 변경 취소, 대용량 엑셀 추출을 별도 워커로 분리. 작업 특성에 따라 비동기 처리 구조를 통한 서버의 부담 저하 및 운영 안정성 확보

사례
메시지 큐 처리
역할
로워드 · GuideME · 백엔드
기술
RabbitMQ · AWS SQS · DLQ · NestJS · Circuit Breaker
이 사례에 대해 AI에게 묻기

프레스런 — AWS SQS 기반 비동기 처리 시스템 구축

프레스런에서는 알림 발송, 결제 후속 처리, 대용량 엑셀 추출처럼 요청 안에서 끝낼 필요가 없거나 오래 걸리는 작업을 AWS SQS로 API 서버와 분리했습니다. 큐와 워커를 업무 단위로 나누고, 여러 워커가 함께 쓰는 공통 컨슈머 모듈을 SQS의 전달 방식에 맞춰 설계했습니다.

적용 사례

다음 업무에 SQS를 적용했습니다.

알림 (notification 큐): 알림톡·LMS·앱 푸시 발송과 발송 로그 저장

결제 (toss-payment-refund 큐): 결제 기한 만료, 결제 수단 변경 만료, 주문 취소, 환불 요청

결제 수단 변경 (toss-payment-method-change-cancel 큐): 결제 수단 변경 취소

엑셀 추출 (excel-export 큐): 관리자·협력사·강사 콘솔의 엑셀 내보내기

각 업무는 API나 스케줄러가 SQS로 메시지를 보내고, 그 작업을 맡은 워커가 메시지를 받아 처리합니다.

알림 워커: 인증·관리자·클라이언트 API와 스케줄러에서 발생한 알림을 슝(알림톡·LMS)과 Expo(앱 푸시)로 발송. 외부 발송 API의 지연·실패가 원래 요청의 응답을 붙잡지 않도록 분리

결제 워커: 환불 요청, 주문 취소, 결제 만료 등 결제 후속 작업 처리. 결제사 취소 API가 실패해도 요청이 사라지지 않고 큐에서 재시도되도록 분리

엑셀 워커: 관리자·협력사·강사 API가 보낸 작업 ID를 기준으로 엑셀 파일 생성. 요청 안에서 파일을 만들다 관리자 API 서버가 OOM으로 종료되던 문제를 별도 워커로 분리해 해결

API와 스케줄러가 notification, toss-payment-refund, toss-payment-method-change-cancel, excel-export 네 개의 SQS 큐에 메시지를 보내고, 알림·결제·엑셀 전용 워커가 공통 컨슈머 모듈 위에서 각각 처리한다.
프레스런의 SQS 적용 구조: 큐 4개와 전용 워커 3개

공통 모듈

워커마다 메시지 수신과 오류 처리를 반복 구현하지 않도록 공통 SQS 컨슈머 모듈을 만들었습니다. @MessagingProcessor 데코레이터로 처리할 큐와 메시지 처리기를 등록해, 워커별 비즈니스 로직과 공통 메시지 처리 로직을 분리했습니다.

Long Polling: 빈 응답을 줄이도록 대기하며 메시지 조회

처리 완료 후 삭제: 작업이 성공한 경우에만 메시지를 삭제하고, 실패하면 남겨 두어 다시 수신

DLQ: 최대 수신 횟수를 넘은 메시지는 Dead Letter Queue로 옮겨 정상 흐름과 격리

Circuit Breaker: SQS 폴링이 반복해서 실패하면 일정 시간 폴링 중단

중복 전달 대비: 같은 메시지가 다시 와도 한 번만 처리되도록 워커에서 작업 상태를 확인한 뒤 실행

공통 모듈은 메시지 수신과 실패 처리 흐름을 맡고, 실제 작업 실행과 재시도 여부 판단은 각 워커가 하도록 나눴습니다.

결과

알림·결제·엑셀 세 가지 업무를 큐 4개와 전용 워커 3개로 분리했습니다.

알림: 외부 발송 API의 지연·실패와 상관없이 API 요청에 바로 응답

결제: 결제사 취소가 실패해도 요청이 유실되지 않고 큐에서 재시도, 끝내 실패하면 DLQ로 확인

엑셀: 관리자 엑셀 23종과 협력사·강사 콘솔 다운로드를 워커로 전환해 관리자 API 서버의 OOM 문제 해결

공통: 새 비동기 작업은 큐와 처리기를 등록하는 것만으로 같은 수신·실패 처리 흐름을 사용

GuideME — 예약 처리와 외부 API 연동 분리

문제 상황

GuideME는 사용자가 현지 가이드를 예약하고 결제하는 서비스입니다. 기존에는 예약 요청 시 상태 변경과 알림 발송 등 여러 후속 비즈니스 로직을 함께 처리해, 작업량이 증가하면 예약 API의 응답 지연과 병목이 발생할 수 있는 구조였습니다.

작업 분리

이를 개선하기 위해 예약에 필요한 핵심 로직과 후속 작업을 분리하고, RabbitMQ 기반 비동기 처리 구조를 도입했습니다. 서비스 운영 초기의 인프라 비용을 고려해 별도 워커 서버를 구축하지 않고, 기존 운영 환경에서 후속 작업을 처리하도록 구성했습니다.

또한 메시지 큐 구현에도 변경 가능성을 고려했습니다. 도메인 로직에서 RabbitMQ를 직접 쓰지 않고 MessageQueuePort 인터페이스로 메시지를 발행하게 하고, RabbitMQ 관련 코드는 별도 구현체로 분리해 예약 로직이 특정 메시지 브로커에 직접 의존하지 않도록 했습니다.

기존에는 예약 요청이 예약 처리와 외부 연동을 모두 기다려 외부 API 지연이나 실패가 예약에 영향을 줬다. 변경 후에는 상태 변경 뒤 바로 예약 응답을 보내고, RabbitMQ 이벤트로 알림과 정산 처리를 따로 실행한다.
RabbitMQ 도입 전후 예약 처리 흐름 (개념도)

재시도 정책

실패한 메시지를 일률적으로 재처리하면서 유효하지 않은 요청까지 반복 실행되고, 컨슈머 객체가 쌓여 힙 메모리가 급증했습니다. 그래서 횟수 제한 재시도(Bounded Retry) 패턴을 적용하고, 오류 원인에 따라 처리를 나눴습니다.

일시적인 오류(네트워크 장애·외부 API 타임아웃): 메시지 헤더의 retry_count로 정해진 횟수까지만 재시도

해결되지 않는 오류(유효하지 않은 요청·처리할 수 없는 상태): requeue: false로 즉시 중단

재시도 횟수 초과: DLQ로 격리해 정상 메시지 처리와 분리하고 따로 확인

Bounded Retry. 메시지 처리 실패 중 일시적인 오류는 retry_count가 N보다 작을 때만 재시도하고, 해결되지 않는 오류는 requeue: false로 즉시 중단하며, 재시도 횟수를 넘긴 메시지는 DLQ로 격리한다.
Bounded Retry: 실패 원인에 따른 재시도·중단·DLQ 격리

결과

예약 요청과 알림·정산 처리를 분리했습니다.

예약: 외부 API의 지연·장애와 상관없이 상태 변경 후 바로 응답

재시도: Bounded Retry로 무의미한 반복 처리를 막아 컨슈머 힙 메모리 급증 문제 개선

실패 메시지: 재시도 횟수를 넘기면 DLQ로 격리해 정상 처리 흐름과 분리

회고

GuideME와 프레스런에서 사용한 메시지 브로커는 달랐지만, 해결하려던 문제에는 공통점이 있었습니다. GuideME에서는 외부 API의 응답을 기다리지 않도록 예약 처리와 후속 작업을 분리했고, 프레스런에서는 리소스 사용량이 큰 작업을 별도 워커로 옮겼습니다.

두 프로젝트를 거치며 비동기 처리는 요청을 빨리 끝내는 방법에 그치지 않고, 실패한 작업을 어떻게 다시 처리하고 정상적인 요청에 영향을 주지 않게 할지까지 고려해야 하는 구조라는 점을 배웠습니다.

함께 보면 좋은 사례

  • 퍼플아카데미 RabbitMQ AI 첨삭 큐
다음 대표 사례 · 캐시 설계·무효화서비스 · 데이터 특성에 맞는 Redis 캐시 설계와 무효화 전략캐시 전략아래로 계속 스크롤하면 넘어가요