LG CNS, GPU 2장만으로 ‘추론형 LLM’ 구동

AI기업 ‘코히어’와 공동 개발
세계적 모델들에 성능 앞서

LG CNS가 글로벌 인공지능(AI) 유니콘 기업 ‘코히어’와 함께 1110억 파라미터(매개변수)를 갖춘 추론형 거대언어모델(LLM)을 개발했다고 10일 밝혔다. 한국어와 영어 등 23개 언어를 지원하는 이번 LLM은 추론 등 핵심 성능에서 글로벌 상위 모델을 뛰어넘는 결과도 냈다.

LG CNS는 이번 LLM 개발을 위해 코히어의 기업용 LLM인 ‘커맨드’ 모델에 그동안 LG CNS가 축적해 온 정보기술(IT) 전문성과 AI 기술력을 결합했다. 이번에 개발한 LLM은 온프레미스(On-premises·서버에 직접 설치해 운영) 방식으로 제공해 고객사들이 민감한 데이터를 외부로 유출하지 않고 자체 인프라 안에서 안전하게 처리할 수 있도록 할 계획이다.

LG CNS에 따르면 이번 LLM은 한국어와 영어에서 우수한 추론 능력을 보였다. 양사가 자체 테스트한 결과 대표적인 추론 능력 검증 테스트인 ‘매쓰(Math)500’과 ‘미국초청수학시험(AIME) 2024’에서 한국어 및 영어 모두 GPT-4o, GPT4.1, 클로드 3.7 소넷 등 글로벌 LLM보다 높은 점수를 기록했다.

이번 LLM의 또 다른 장점은 모델 압축 기술을 이용해 두 장의 그래픽처리장치(GPU·한 장당 80Gb 데이터 처리)만으로 구동할 수 있다는 점이다. 통상적으로 파라미터 1000억 개 이상의 LLM에는 최소 네 장의 GPU가 필요하다. LG CNS 관계자는 “코히어와 지속적으로 협력해 LLM의 성능을 고도화해나갈 계획”이라고 밝혔다.



김하경 기자 whatsup@donga.com