Electronics 전기/전자

방언과 성조까지 반영…삼성전자, ‘갤럭시 AI’ 언어 모델 개발 과정 공개

Tuesday, June 25, 2024, 14:06:57 크게보기

전세계 20여개 R&D 센터에서 언어 모델 개발 진행
실시간 통·번역 기능에 스웨덴어 등 4개 언어 추가
각 언어별 방언과 성조까지 해석 가능해져

 

인더뉴스 이종현 기자ㅣ삼성전자[005930]는 세계 총 20개 R&D 센터에서 진행 중인 '갤럭시 AI' 언어모델 개발 과정을 공개하고 AI 온디바이스 실시간 통·번역 기능에 스웨덴어 등 4개 언어를 추가해 총 20개 언어를 지원할 계획이라고 25일 밝혔습니다.

 

갤럭시 AI의 온디바이스 실시간 통·번역 기능은 한국어를 포함해 현재 16개 언어를 지원 중이며 연내 스웨덴어, 네덜란드어, 루마니아어, 튀르키예어의 4개 언어를 더 추가해 총 20개 언어를 지원할 예정입니다.

 

갤럭시 AI 언어 모델은 언어의 특성과 문법에 대한 정량 평가, 문화에 대한 지식과 이해를 검증하는 정성 평가 등을 거쳐 공개됐습니다.

 

우선 20여개국 4억명 이상이 사용하는 아랍어를 통·번역에 활용하기 위해서는 현대 표준 아랍어인 풋스하와 일상 생활에서 사용하는 방언인 암미야를 모두 학습해야 합니다. 아랍어 방언이 30여종에 달합니다.

 

삼성리서치 요르단 연구소(SRJO)는 아랍어 방언을 이해하면서, 답변은 표준 아랍어로 할 수 있는 언어 모델을 개발했습니다. 이를 위해 각기 다른 방언의 음성 녹음 데이터를 수집하고, 이를 직접 텍스트로 변환하는 과정을 거쳤습니다.

 

삼성전자는 아랍어의 복잡성에 대한 깊은 이해와 신중한 데이터 선별을 진행하고, 고급 모델링 기술을 적용해 아랍어를 갤럭시 AI에 추가할 수 있었다고 설명했습니다.

 

1억명이 사용하는 베트남어는 중국어, 태국어 등 인근 지역 언어와 비슷한 성조 체계를 지니고 있습니다. 특히 베트남어는 여섯 가지의 성조를 가집니다. 예를 들어 베트남어 단어 '마(Ma)'는 성조에 따라 엄마(Má), 무덤(Mả), 귀신(Ma) 등 전혀 다른 의미를 지닙니다.

 

삼성리서치 베트남 연구소(SRV)는 성조의 미세한 차이를 인식할 수 있도록, 음성 데이터를 매우 정교하게 다듬고 정제하는 과정을 거쳤습니다. 무엇보다 성조를 정확히 구분해 내기 위해 한 단어를 0.02초 전후의 짧은 프레임으로 잘라내고 이를 데이터베이스화 했습니다.

 

중남미 22개국의 공식 언어인 스페인어는 같은 스페인어라도 동일한 대상을 지칭하는 단어가 국가와 지역에 따라 천차만별입니다.

 

멕시코에서는 수영장을 '알베르카(alberca)'라고 부르지만 아르헨티나, 파라과이, 우루과이에서는 '필레타(pileta)'라고 표현합니다. 콜롬비아, 볼리비아, 베네수엘라에서는 '피시나(piscina)'라고 부릅니다.

 

중남미 지역의 언어 모델 개발을 담당한 삼성리서치 브라질 연구소(SRBR)는 갤럭시 AI가 중남미 국가의 스페인어 차이를 이해할 수 있도록 각 국가의 오디오와 텍스트 등 방대한 양의 데이터를 수집해 관리하고 지속적으로 개선했습니다.

 

2억8000만명이 사용하는 인도네시아어는 관사, 복수형, 동사의 시제 변화가 없어서 상대적으로 배우기 쉬운 언어로 평가됩니다. 하지만 문장의 맥락을 충분히 파악하지 못하면 내용을 이해할 수 없어 통·번역이 쉽지 않은 언어입니다.

 

이러한 언어적 특성을 반영해 삼성리서치 인도네시아 연구소(SRIN)는 인간의 뇌가 학습하는 과정과 유사한 '인공신경망번역(NMT)' 방식을 적용했습니다. 단어가 아닌 '문장 단위'로 언어를 학습시켜 갤럭시 AI가 의사소통의 맥락과 규칙을 이해할 수 있도록 했습니다.

English(中文·日本語) news is the result of applying Google Translate. <iN THE NEWS> is not responsible for the content of English(中文·日本語) news.

이종현 기자 flopig2001@inthenews.co.kr

Copyright @2013~2023 iN THE NEWS Corp. All rights reserved.



인더뉴스(주)/ 인터넷신문 등록번호: 서울 아 02788/ 등록일 2013년 8월 26일/ 제호: 인더뉴스(iN THE NEWS)/ 발행인 문정태·편집인 박호식, 주소: 서울시 종로구 새문안로92, 광화문오피시아빌딩 1803호 발행일자: 2013년 9월 2일/ 전화번호: 02) 6406-2552/ 청소년보호 책임자: 박호식 Copyright © 2013~2024 인더뉴스(iN THE NEWS) All rights reserved. / 인더뉴스(주)의 모든 콘텐츠는 저작권법의 보호를 받으므로 무단 전재·복사·배포 등을 금합니다. (단, 기사내용을 일부 발췌한 뒤 출처표기를 해서 ‘링크’를 걸어 두는 것은 허용합니다.)