콜센터 AI 바뀐다, 세일즈포스 VoiceAgentRAG 핵심 요약

VoiceAgentRAG란?

VoiceAgentRAG는 세일즈포스가 공개한 음성 AI 아키텍처로, 기존 RAG 구조의 지연(latency) 문제를 해결하기 위해 설계된 기술입니다.
검색과 응답을 분리한 이중 에이전트 구조를 통해 실시간 음성 환경에서도 빠른 응답을 가능하게 합니다.

왜 음성 AI에서 지연(latency)이 중요한가?

음성 AI는 사람 간 대화와 유사한 속도를 요구합니다. 일반적으로 200ms 이상 지연이 발생하면 대화가 끊기는 느낌을 주게 됩니다.

하지만 기존 RAG 구조에서는 다음 과정이 순차적으로 이루어집니다.

• 데이터 검색 (벡터 DB 조회)
• 임베딩 계산
• 언어모델 응답 생성

이 과정에서 50~300ms 이상의 지연이 발생하며, 실시간 음성 서비스에서는 치명적인 한계로 작용해 왔습니다.

VoiceAgentRAG는 어떻게 작동하는가?

VoiceAgentRAG는 두 개의 에이전트로 구성됩니다.

Fast Thinker란?

Fast Thinker는 사용자와 직접 상호작용하는 에이전트입니다.
로컬 메모리에 저장된 의미 기반 캐시(semantic cache)를 활용하여 즉각적인 응답을 제공합니다.

• 캐시 적중 시 약 0.35ms 응답 속도
• 필요할 때만 외부 데이터베이스 조회
• 조회 결과를 다시 캐시에 저장

Slow Thinker란?

Slow Thinker는 백그라운드에서 작동하는 에이전트입니다.
대화 흐름을 분석하고, 사용자의 다음 질문을 예측하여 필요한 데이터를 미리 준비합니다.

• 대화 맥락 기반 예측
• 관련 문서 사전 검색
• 캐시 선제적 저장

기존 RAG와 무엇이 다른가?

기존 RAG는 질문 이후에 검색을 수행합니다.
VoiceAgentRAG는 질문 이전에 데이터를 준비합니다.

• 기존 구조: 요청 → 검색 → 응답
• 개선 구조: 예측 → 준비 → 즉시 응답

이 구조 변화로 인해 지연이 크게 줄어듭니다.

핵심 기술은 무엇인가?

VoiceAgentRAG의 핵심은 두 가지입니다.

1. 선제적 검색 (Pre-fetching)

대화 흐름을 기반으로 필요한 정보를 미리 검색하여 준비합니다.

2. 병렬 처리

사용자 응답과 데이터 준비가 동시에 진행됩니다.

이 두 가지 구조가 결합되면서 지연 문제를 구조적으로 해결합니다.

성능은 얼마나 개선되었는가?

실험 결과는 다음과 같습니다.

• 평균 캐시 적중률 약 75%
• 대화 진행 시 최대 80% 이상 증가
• 특정 시나리오 최대 95%
• 응답 속도 110ms → 0.35ms 개선

최대 약 300배 이상의 속도 향상이 확인되었습니다.

VoiceAgentRAG는 어디에 활용되는가?

이 구조는 지연에 민감한 서비스에 적용됩니다.

• 콜센터 자동 응답 시스템
• 실시간 고객 상담
• 음성 비서 서비스

응답 속도가 개선되면서 실시간 음성 AI 적용 가능성이 높아집니다.

핵심 요약

VoiceAgentRAG는 세일즈포스가 개발한 음성 AI 구조로, 검색과 응답을 분리한 이중 에이전트 방식입니다.
Fast Thinker는 즉각 응답을 담당하고, Slow Thinker는 데이터를 미리 준비합니다.
이 구조를 통해 기존 RAG의 지연 문제를 해결하고, 최대 300배 이상의 응답 속도 개선을 구현합니다.

FAQ

VoiceAgentRAG는 무엇인가요?

음성 AI의 지연 문제를 해결하기 위해 세일즈포스가 제안한 이중 에이전트 아키텍처입니다.

기존 RAG와 가장 큰 차이는 무엇인가요?

기존은 질문 이후 검색이 이루어졌다면, VoiceAgentRAG는 대화 흐름을 기반으로 데이터를 미리 준비합니다.

왜 음성 AI에서 중요한 기술인가요?

응답 속도가 사용자 경험에 직접적인 영향을 주기 때문에, 지연을 줄이는 기술이 필수적입니다.

어떤 분야에 활용되나요?

콜센터, 실시간 상담, 음성 비서 등 빠른 응답이 필요한 서비스에 적용됩니다.