인더뉴스 권용희 기자ㅣ업스테이지(대표 김성훈)는 자체 개발한 사전학습 초거대언어모델(LLM) 솔라를 공개했다고 14일 밝혔습니다.
'솔라'는 프라이빗 LLM을 위해 작은 크기로 구성된 사전학습 모델로, 세계 최초의 107억 매개변수(10.7B) 모델입니다.
업스테이지는 다양한 연구를 통해 작은 사이즈의 솔라 모델 성능을 최적화에 나섰습니다. 3조 개가 넘는 토큰의 데이터를 통해 확장된 10.7B를 완성해 크기와 성능의 최적의 조합으로 모델을 구축했다고 밝혔습니다.
업스테이지의 솔라 모델은 사전 학습 및 파인튜닝 단계에서는 리더보드 벤치마킹 데이터 셋을 사용하지 않고, 자체적으로 구축한 데이터를 적용했습니다.
업스테이지는 실사용성 높은 파인튜닝 모델은 물론 자체 추가 학습이 가능한 사전학습 모델까지 모두 공개했습니다. 이를 통해 기업별로 데이터와 목적에 맞게 추가 학습하고 다양한 생성 AI 서비스를 구축하고 운영할 수 있을 것으로 내다봤습니다.
업스테이지는 향후 글로벌 플랫폼과의 협력을 통해 최고 기술력을 바탕으로 글로벌 생성 AI 시장에 본격적으로 진출할 계획입니다.
업스테이지는 최근 'AWS 리인벤트 2023' 행사에서 AWS의 클라우드 서비스와 AI 플랫폼을 활용해 자체 개발한LLM을 구축하고 운영하는 과정과 성과에 대해 설명하며 AWS와의 협력을 밝힌 바 있습니다.
김성훈 업스테이지의 대표는 "세계 AI회사들을 압도하는 모델을 공개하게 되어 기쁘고 업스테이지 솔라가 모두를 위한 모델이 되기를 희망한다"라면서 "KT의 전략투자를 통한 지원이 큰 도움이 되었고 앞으로 지속적으로 더 큰 격차를 벌릴 수 있는 최고 성능의 솔라 모델을 활용, B2B 시장에서의 협력도 추진할 것"이라고 말했습니다.
