콜센터가 확장이 필요하자 Azure OpenAI로 화답한 Insight US

2025년 3월 17일

AI 도입이 최고조에 이르고 기업들이 하루라도 빨리 도입을 서두르고 있을 때, Microsoft 파트너 Insight US는 본격적으로 뛰어들기 전에는 잠시 쉬어가는 것이 훨씬 더 효과적이라고 생각했습니다. 잠시 쉬면서, 현란한 AI의 가능성에 현혹되지 않고 AI가 비즈니스에서 최고의 가치를 견인할 수 있는 곳은 과연 어디일지 전략적으로, 전술적으로 생각해 보아야 한다고 판단한 것입니다. "훌륭한 아이디어를 쏟아낼 수는 잊지만 깨끗하고 접근 가능한 데이터가 없다면, 꼭 맞는 것을 확보하지 못한다면, AI는 아무것도 해결해 주지 못합니다," Insight에서 Client Solutions Director를 맡고 있는 Anna Chapman의 말입니다.

하지만 계속해서 변하는 기술 환경에서 신중하게 전략적 접근을 하는 것과 변화의 속도를 따라가기에 충분한 민첩성을 갖는 것 사이에서 어떻게 균형을 잡아야 할까요? Insight 생각에 그 해답은 간단했습니다. 바로 파트너십의 힘을 이용하는 것입니다.

Insight는 30여 년간 거의 모든 산업 분야에 걸쳐 Microsoft 솔루션을 배포하고 제공하면서 고객들이 변화하는 환경을 헤쳐나가고 앞서 나갈 수 있도록 돕는 일을 해 왔고, 그러면서 동시에 자신들의 기술적 전문성은 계속해서 성장시켜 왔습니다. (Insight는 Azure Expert 매지니드 서비스 공급자로, 6가지 솔루션 파트너 지정과 23가지 전문 기술 역량을 모두 취득했습니다.)

하지만 Microsoft와의 파트너십은 Insight의 성장에만 도움이 된 것이 아니라 고객들과의 사이에 쌓인 신뢰도 더 깊고 단단하게 다져주었습니다. "Microsoft와 [Insight]는 함께 걸어가면서 이해관계를 함께 하는 파트너로서, '우리가 도와주겠다'고 말하는 관계라고 할 수 있어요," Chapman은 말합니다. "그러면 고객은 우리가 [자신들이 필요로 하는 유형의 솔루션]을 제공해 줄 수 있는 파트너라는 것을 Microsoft가 보증한다는 것을 알고 우리를 믿고 신뢰하는 거죠."

콜센터의 난제

이 소매유통업체의 콜센터에서는 발신자가 버튼을 누르거나 음성 응답 방식으로 선택할 수 있는 메뉴 옵션에 따라 발신자를 관련 정보로 안내하는 자동 시스템인 IVR(인터랙티브 음성 응답)을 사용하고 있었습니다. (이런 겁니다: "매장 위치와 운영 시간은 1번을 누르세요. 주문이나 상태 추적은 2번을 누르세요. 상담원과 통화하려면 3번을 누르세요.”) 이 업체가 받는 전화의 대부분은 매장 시간, 재고, 청구 문제 등 단순한 문의 사항이었지만, 매장 방문 예약이나 계정 정보 같이 상대적으로 복잡한 내용도 있었습니다.

예전에는 이 업체의 IVR 시스템에서는 이런 문의 전화의 약 90%를 받아 응답하는 상담원이 필요했습니다. 그래서 팀은 매장 운영이나 매장 방문 고객에 집중하기보다 이런 기본적인 질문들을 받는 데 더 많은 시간을 써야 했습니다. 반면 (전화선 반대편에 있는) 고객 입장에서도 기다리게 하고, 맞는 매장으로 연결해 준다고 하고, 그런 다음 또 누가 받기를 기다려야 하기 때문에 답답할 수 밖에 없습니다. 인비저닝 워크숍을 마치고 나오면서 Insight 팀은 AI가 이같은 문의 전화에 응답하는 업무의 90%를 맡아서 처리할 수 있을 것으로 확신했습니다. 또한 Insight는 Microsoft와의 파트너십을 통해 Azure Innovate를 이용함으로써 Microsoft도 이 프로젝트에 확신을 가지고 있다는 것을 고객사에 보여줄 수 있었습니다.

Insight의 최우선 과제는 고객사의 기존 아키텍처가 콜센터에 대해 자신들이 계획하고 있는 것을 뒷받침할 수 있는지 확인하는 것이었습니다. Insight의 National AI Practice Lead를 맡고 있는 Meagan Gentry에 따르면, AI 솔루션의 기초는 3개의 핵심 계층으로 이루어져 있습니다.

이 경우에는 Azure OpenAI 가 생성형 AI로 작동되는 IVA(인터랙티브 음성 어시스턴트) 상에 배포해야 할 접착제 역할을 했습니다. IVA가 있으면 발신자는 메뉴 옵션을 선택하고, 상담원이 받기를 기다리고, 콜센터나 맞는 매장으로 연결되기를 기다리는 따분한 과정을 거칠 필요 없이 바로 필요한 대답을 받을 수 있게 됩니다.

다행히 Azure가 이미 고객사 아키텍처에 포함되어 있었기 때문에 기존 데이터로 작업하기가 훨씬 쉬웠습니다. "재고를 확인하거나 계정을 찾아보는 데는 여러 가지 다른 데이터가 많이 필요했어요," Gentry는 말합니다. "[고객사가] 이미 Azure OpenAI 검색 커넥터를 사용해 PostgreSQL과 Azure SQL 데이터베이스를 정말 잘 통합해 두었기 때문에 그냥 가서 데이터를 가져오기만 하면 됐어요."

또한 고객사는 통화량 트래픽 처리에 이미 Azure 커뮤니케이션 서비스 를 이용하고 있었기 때문에 Azure AI 서비스, 그리고 STT(음성-텍스트 변환), TTS(텍스트-음성 변환) 같은 기능을 매끄럽게 구현할 수 있었습니다. "좋은 소식은 이런 [제품들이] 함께 매끄럽게 작동하고, 그래서 이런 솔루션에는 Azure가 믿고 사용할 수 있는 플랫폼이라는 거죠. [Azure의] 통합 방법론은 문서화되어 있고, 공개되어 있어 우리가 배울 수 있기 때문에 작업이 아주 수월해요," Gentry는 말합니다.

이제 Insight는 콜센터의 프롬프트와 응답 행동에 대한 다양한 경로를 테스트했는데, 그러려면, "이 잠재적 질문이 맞는 곳으로 라우팅되고 있는 것인가? [이 응답이] 정확하고, 도움이 되고, 해결로 이어지는가?" 같은 질문을 하면서 생각을 하는 과정이 필요했습니다. 이들은 Azure OpenAI에서 각 프롬프트를 맞는 장소로 연결하도록 했고, RAG(검색 증강 생성) 프레임워크를 이용해 고객사의 고유한 데이터 세트를 기반으로 '안전하게' 응답을 추가적으로 사용자 정의할 수 있었습니다.

Gentry는 이렇게 말합니다. "Azure AI는 안전한 방식으로 끊임없이 시장의 변화에 대응합니다. 그리고 그렇기 때문에 고객 입장에서는 Azure를 사용하면 자신들의 요구 사항에 부합하면서도 철저하게 검증된 다양한 AI 옵션을 손쉽게 액세스할 수 있을 것이라는 확신을 가질 수 있죠."

파트너 협력을 통해 AI 비전을 현실로 만들다

Insight는 IVA를 이용하면서 기존에는 수신 통화 90%를 상담원이 받아야 했었던 데 반해 그 비율이 40%로 줄어들게 되고, 그에 따라 팀이 매장 운영 개선이나 고객 응대 등 상대적인 고가치 업무에 집중할 수 있는 시간이 늘어나게 될 것으로 예상하고 있습니다. 하지만 첫 인비저닝 워크숍부터 구현에 이르기 까지, Insight 팀은 자신들의 지원이 기술에 국한되지 않는다는 것을 명확히 했습니다. Insight 팀은 고객사 팀의 일원으로 일하면서 장기적인 목표를 달성하기 위해 고객과 함께 일합니다.

이 사례에서 Insight는 고객사인 소매유통업체의 콜센터 솔루션을 계속해서 가이드하고 세부 조정하는 것뿐 아니라 고객사의 데이터와 AI 로드맵에 대해 논의하고 비즈니스 목표에 부합하는 더 다양한 AI 유스 케이스를 탐색하는 작업을 계속 이어나가고 있습니다. "우리는 사전에 준비된 획일화된 솔루션을 제공하지 않습니다. 고객사와 함께 논의하고 협력하면서 고객이 이끌어내려고 하는 비즈니스 결과를 이해하려고 합니다," Chapman은 말합니다. "그런 다음 그것이 하드웨어가 됐든 소프트웨어, 또는 컨설팅 서비스가 됐든, 우리 도구상자에 있는 여러 가지 도구를 사용해 그 비전을 추진할 수 있도록 도와주는 거죠."

Insight의 기술 전문성과 업계 인사이트, 제품 팀의 지원, 그리고 Microsoft의 자금 지원이 한데 합쳐지면서 고객의 AI 포부를 현실로 만들 수 있었습니다. "Insight는 직접 일하면서 쌓은 전문성을 발휘해 솔루션 구축이라는 잡초 속으로 헤치고 들어갔고, AI 워크숍을 진행하면서 경영진이 생각을 달리하고 임팩트 있는 유스 케이스를 파악해 우선 순위를 부여하게 만들었어요," Insight와 이 프로젝트에서 함께 일한 Microsoft의 Senior Modern Workplace & Microsoft 365 Copilot 스페셜리스트 Daniel Garney는 말합니다. Microsoft의 Senior Azure Data & AI 스페셜리스트 Jessica Milligan은 이렇게 말합니다. "Microsoft는 가능성의 비전과 기술이라는 그림을 그렸고, Insight는 자신들의 서비스 조직을 통해 그 비전에 생명력을 불어넣은 거죠.”

그리고 Insight는 자신들이 생명력을 불어 넣는 모든 AI 비전에서 자신들이 가진 경험과 배운 교훈을 바탕으로 스킬을 더욱 갈고 닦으면서 사업을 강화하고, 영향력을 확대시켜 나가고 있습니다. "저희는 이 프로젝트에서 배운 것들을 의료서비스 부문에서 응급 대응 프로토콜에 적용시키거나 Azure OpenAI를 사용해 커리큘럼을 설계하고 있는 교육 영역에도 적용하고 있습니다,” Gentry는 말합니다. "저는 그것이 바로 Microsoft가 가진 초능력 중 하나라고 생각해요. 우리는 같이 배우고, 그렇게 배운 내용을 다른 많은 곳에 전파하고 있습니다."