“말귀 알아듣고 눈치까지 챈다”…한국형 음성 AI 개발 착수

“네, 맞아요.”

사람은 맞장구로 알아듣지만 인공지능(AI)은 질문으로 착각하기도 한다. 말귀를 제대로 못 알아듣는 셈이다. 이런 답답한 AI 상담원이 사람처럼 자연스럽게 대화할 수 있을까.

LG유플러스가 이 문제를 해결하기 위해 국내 명문 대학들과 손잡았다. 11월 9일 서울대학교, 한국과학기술원(KAIST), 연세대학교와 함께 'K-보이스 AI 얼라이언스'를 출범했다. 한국인의 말투와 억양, 감정까지 이해하는 음성 인공지능을 공동 개발한다. 외국 기술에 대한 의존도를 낮추고 한국어에 적합한 독자 기술을 확보하는 것이 목표다.

말 받아 적는 AI에서 직접 듣는 AI로

기존 음성 AI가 대답하는 과정은 생각보다 복잡하다. 먼저 사람의 목소리를 글자로 바꾼다. 그 글을 분석해 답변을 만든다. 마지막으로 답변을 다시 목소리로 바꿔 들려준다. 비유하면 상대방의 말을 일일이 받아 적은 뒤 답안지를 작성하고, 그 답안지를 다시 읽어주는 방식이다. 여러 단계를 거치다 보니 대답이 늦어지고 억양도 부자연스러워질 수 있다.

이번에 개발하는 기술은 이런 중간 과정을 줄이는 데 초점을 맞췄다. 사람의 목소리를 직접 이해하고 목소리로 답하는 '음성 대 음성(V2V)' 방식이다. 사람끼리 대화하듯 상대방의 말을 들으면서 대답할 준비를 하는 것이다. 고객이 말을 끝내기 전에 적절히 맞장구를 치거나, 대화 분위기에 따라 목소리를 바꾸는 것도 연구 목표다.

말의 뜻뿐 아니라 감정까지 이해하는 기술도 중요하다. 고객이 “아이고, 정말 답답해 죽겠네”라고 말했다고 가정해 보자. 단어만 분석하는 AI는 불만의 정도를 제대로 파악하지 못할 수 있다. 그러나 목소리의 높낮이와 억양까지 이해한다면 고객이 화가 났는지, 단순히 불편함을 호소하는지 구별하는 데 도움이 된다. 상황에 따라 “많이 불편하셨겠습니다”라고 차분하게 응답하는 것이다.

서울대는 말솜씨, KAIST는 기억력 연구

이번 연구에는 국내 주요 대학 세 곳이 역할을 나눠 참여한다. 서울대학교는 AI의 말솜씨를 담당한다. 상황에 맞는 말투와 목소리를 만들고, 상대방이 말하는 도중 자연스럽게 반응하는 기술을 연구한다. 고객이 화를 낼 때는 차분하게, 기쁜 소식을 전할 때는 밝게 대답하는 식이다. 기계적인 목소리에서 벗어나 사람과 대화하는 느낌을 주는 것이 목표다.

KAIST는 AI의 기억력과 대화 이해 능력을 연구한다. 고객이 상담 도중 “아까 말씀드린 그 문제 말인데요”라고 했을 때 앞선 대화를 기억해야 제대로 대답할 수 있다. 지금까지 어떤 이야기를 나눴는지 잊어버린다면 고객은 처음부터 다시 설명해야 한다. KAIST는 이런 불편을 줄이기 위해 긴 대화의 맥락을 유지하고, 여러 사람이 동시에 말할 때 누구에게 대답해야 하는지 판단하는 기술을 개발한다.

연세대학교는 개발된 기술이 실제로 얼마나 쓸모 있는지 평가한다. AI가 아무리 자연스럽게 말해도 고객의 문제를 해결하지 못하면 소용없다. 고객이 설명을 제대로 이해했는지, 상담이 끝까지 원활하게 진행됐는지 등을 확인한다. 서울대가 말솜씨를 가르치고 KAIST가 기억력을 키운다면, 연세대는 실전 시험을 맡는 셈이다.

한국인의 말투와 감정 이해가 관건

이번 연구의 또 다른 특징은 한국어에 특화된 기술을 개발한다는 점이다. 한국어는 같은 문장이라도 억양과 상황에 따라 뜻이 달라진다. “참 잘하셨네요”라는 말이 대표적이다. 진심 어린 칭찬일 수도 있지만, 잘못을 지적하는 비꼼일 수도 있다. 글자만 읽어서는 정확한 뜻을 판단하기 어렵다. 존댓말과 반말, 사투리, 줄임말까지 고려해야 한다. 한국어에 특화된 음성 AI가 필요한 이유다.

이 기술이 실용화되면 특히 어르신들의 AI 이용이 편리해질 것으로 기대된다. 스마트폰의 작은 글씨를 읽거나 복잡한 메뉴를 찾아 들어가는 일은 노년층에게 부담스럽다. 그러나 “지난달 전화요금이 얼마 나왔지?”라고 말하는 일은 비교적 쉽다. 이어 “이번 달에는 왜 더 많이 나왔어?”라고 물었을 때 앞선 질문을 기억하고 설명해 준다면 더욱 편리하다. 장기적으로는 병원 예약이나 생활 안내 등에도 활용할 가능성이 있다.

기술 개발은 시작…상용화 시기는 미정

다만 사람처럼 대화하는 AI가 당장 등장하는 것은 아니다. 이번 발표는 공동 연구를 위한 협력체가 출범했다는 의미다. 실제 서비스에 적용되는 시기나 비용은 아직 공개되지 않았다. 기존 AI보다 얼마나 빠르게 대답하는지, 감정을 얼마나 정확하게 이해하는지도 앞으로 검증해야 한다. LG유플러스는 연구 성과를 자사 음성 AI 서비스에 단계적으로 적용할 계획이다.

이상엽 LG유플러스 최고기술책임자(CTO)는 이번 협력을 통해 한국인과 한국어에 특화된 음성 AI 기술을 확보하고, 노년층 등 AI 시대에 소외되는 계층을 줄이겠다는 뜻을 밝혔다. 인공지능이 특정 세대나 기술에 익숙한 사람들만의 도구가 아니라 누구나 쉽게 이용할 수 있는 생활 수단이 돼야 한다는 취지다.

인공지능은 그동안 글을 읽고 답을 찾는 능력을 중심으로 발전했다. 이제는 사람의 말을 듣고, 앞선 대화를 기억하고, 감정까지 살피는 방향으로 진화하고 있다. 그러나 기술의 성패를 가르는 기준은 사람의 목소리를 얼마나 똑같이 흉내 내느냐에 있지 않다. 고객이 같은 말을 두 번 반복하지 않아도 되는지, 어르신이 복잡한 기계 조작 없이 필요한 도움을 받을 수 있는지가 더 중요하다. 말 잘하는 AI보다 말귀 잘 알아듣는 AI가 필요한 시대다.