인더뉴스 이종현 기자ㅣ카카오[035720]가 자체 개발 옴니 AI 모델 '카나나-오'의 음성 생성 기술을 이용자가 원하는 말투와 감정, 억양까지 자연어 지시만으로 제어할 수 있도록 고도화했다고 4일 테크블로그를 통해 밝혔습니다.

기존 음성 AI가 자연스럽게 텍스트를 읽는 데 초점을 맞췄다면 새롭게 개선된  카나나-오는 이용자의 지시에 따라 음성 표현 자체를 제어해 줍니다. 이용자가 "아주 빠르게 읽어줘", "낮은 목소리로 읽어줘", "슬픈 목소리로 읽어줘", "경상도 사투리로 읽어줘"와 같이 자연어로 원하는 발화 방식을 말하면 AI가 속도, 음량, 음높이는 물론 감정과 억양, 강도까지 반영해 음성을 생성해 줍니다.

이 밖에도 "스포츠 중계하듯", "아나운서처럼", "동화책을 읽어주듯" 등 역할 기반의 지시는 물론, "톤을 낮춰서 빠르게 슬픈 목소리로 읽어줘"와 같이 여러 조건을 동시에 담은 복합 지시도 수행 가능합니다.  영어 음성 생성에서도 동일한 발화 지시를 수행하는 것이 특징입니다.

카나나-오는 발화 지시 이행 능력을 평가하는 'InstructTTSEval' 한국어 벤치마크에서 94.50점을 기록했습니다. 이는 GPT-4o-mini-tts(91.10점)를 넘어서는 수준으로 구글 제미나이-2.5-flash-preview-tts(95.38점)와 견줄 만한 성과입니다.

카카오는 자체 개발한 음성 토크나이저 'LM-SPT(LM-aligned SPeech Tokenizer)'를 새롭게 적용해 음성 생성의 품질뿐 아니라 속도와 효율도 향상했습니다.

LM-SPT는 AI가 음성을 더 적은 수의 토큰으로 압축해 표현하는 기술로 AI가 처리해야 하는 데이터의 양을 줄여 더 빠르고 효율적으로 음성을 생성할 수 있도록 합니다. 

LM-SPT는 다양한 음성 언어모델의 한국어, 영어 음성 이해와 생성 능력을 비교한 평가에서 Mimi, DualCodec, CosyVoice2 등 최신 글로벌 기술을 적용한 모델에 비해 우수한 성능을 보였습니다. 합성된 음성의 자연스러움과 화자 유사도를 청취 후 지표화하는 전문가 평가에서도 가장 높은 점수를 기록했습니다.

카카오는 향후 카나나-오 음성 기술을 음성 이해 및 생성 능력을 하나의 통합 구조로 처리하는 연구를 통해 고도화하고 자연스럽고 끊김 없는 음성 경험을 제공하는 데 집중할 예정입니다.

이 밖에도 웃음, 한숨, 감탄 같은 비언어적 표현을 자연스럽게 생성하는 기술 등 세밀한 음성 제어를 위한 개발을 이어갈 계획입니다.

노병석 카카오 유니파이드 파운데이션 모델 성과리더는 "이번 카나나-오 음성 기술 고도화는 사람처럼 자연스러운 음성 생성은 물론, 이용자가 원하는 말투와 감정, 억양까지 자연어 지시에 따라 표현할 수 있는 능력을 갖추는 데 초점을 뒀다"라며 "향후 카나나-오 모델을 다양한 서비스에 적용해 더욱 자연스럽고 편리한 AI 음성 경험을 제공할 것"이라고 말했습니다.