인더뉴스 권용희 기자ㅣ업스테이지(대표 김성훈)는 한국 AI 경쟁력 증진을 위해 한국지능정보사회진흥원(이하 NIA)과 한국어 LLM의 성능을 평가할 수 있는 리더보드 '오픈 Ko-LLM 리더보드'를 구축, 개설한다고 25일 밝혔습니다.
'오픈 Ko-LLM 리더보드'는 한국어 LLM 모델을 등록해 다른 모델과 경쟁할 수 있는 공개 플랫폼입니다. 오픈 Ko-LLM 리더보드에 관심이 있는 연구자들은 27일 이후 허깅페이스의 오픈 Ko-LLM 리더보드 스페이스에서 참여할 수 있습니다.
'오픈 Ko-LLM 리더보드'는 한국어의 특성과 문화를 반영한 고품질의 데이터를 자체 구축한 한국어 특화 리더보드입니다.
한국어 사용자가 지닌 일반 상식에 부합 여부를 측정하는 '상식 생성' 기준을 추가했습니다. '상식생성'은 업스테이지가 고려대 임희석 교수 연구진과 협업으로 구축한 데이터셋으로 역사 왜곡, 환각 오류, 형태소 오류, 불규칙 활용 오류, 혐오 표현 등에 대한 광범위한 유형을 포함한 질문지로 구성했습니다.
업스테이지는 "오픈 LLM 리더보드를 기반으로 공동 연구 및 협력을 촉진할 수 있으며 이를 통한 성능 수준의 향상과 산업 분야 확대에도 이바지할 것으로 예상된다"라면서 "1T클럽에 이어 오픈LLM 리더보드까지 더해 한국 AI 생태계 외연을 지속 확대할 계획"이라고 밝혔습니다.
업스테이지는 KT와 협업해 KT 클라우드 인프라 지원을 바탕으로 오픈 Ko-LLM 리더보드를 운영한다는 계획입니다.
김성훈 업스테이지 대표는 "업스테이지가 NIA와 함께 한국어 LLM의 경쟁력을 증진하고 연구 수준을 더욱 높일 수 있는 오픈 Ko-LLM 리더보드를 개설하게 되어 무척 기쁘다"라면서 "앞으로도 리더보드를 통한 협업 촉진과 빠른 기술 전파 등을 통해 한국 AI 생태계를 넓히고 발전을 증진시킬 수 있도록 더욱 노력할 것"이라고 말했습니다.
