프렌들리AI, 엔비디아 신규 오픈AI 모델 ‘Nemotron 3’ 제공

고성능・저비용 AI 추론으로 에이젠틱 AI 상용화 가속

프렌들리AI와 엔비디아 협업. 이미지 제공=프렌들리AI

 AI 추론 플랫폼 기업 프렌들리 AI(FriendliAI)는 엔비디아(NVIDIA)의 공식 런칭 파트너로 참여해, 엔비디아의 신규 오픈 AI 모델 ‘Nemotron 3’ 를 자사 플랫폼을 통해 제공한다고 밝혔다.

 이번 협력을 통해 기업과 개발자는 별도의 복잡한 인프라 구축 없이 프렌들리 AI 의 플랫폼에서 Nemotron 3 Nano 모델을 손쉽게 배포하고 운영할 수 있다. 프렌들리 AI 는 빠른 응답 속도와 비용 효율성을 강점으로 내세우며, 실제 서비스 환경에 적합한 AI 운영 환경을 제공한다. 프렌들리 AI 의 고성능 추론 환경에서 Nemotron 3 모델을 사용해 AI 에이전트를 안정적으로 운영할 수 있다.

 전병곤 프렌들리 AI 대표는 “Nemotron 3와 FriendliAI 플랫폼의 결합은 AI가 스스로 판단하고 작업을 수행하는 ‘에이전틱 AI’를 보다 현실적인 비용과 성능으로 구현할 수 있게 하는 중요한 계기”라며 “기업들이 대규모 AI 서비스를 운영하는 데 필요한 성능과 효율성을 동시에 제공하는 것이 목표”라고 말했다.

 Nemotron 3 모델은 복잡한 추론과 논리적 판단이 필요한 작업에 특화된 AI 모델로, 하이브리드 Mamba-Transformer 기반의 Mixture-of-Experts(MoE) 아키텍처를 가진다. Nano 모델은 100만 토큰 컨텍스트와 함께 소프트웨어 개발, 금융, 유통, 사이버 보안 등 다양한 산업 분야에 활용할 수 있도록 설계됐다. 특히 계산 자원을 효율적으로 사용하는 구조를 적용해, 성능을 유지하면서도 운영 비용을 줄일 수 있도록 한 점이 특징이다.

 프렌들리 AI 플랫폼에서 Nemotron 3 Nano 모델을 실행할 경우, 최적화된 GPU 활용과 MoE 서빙 최적화 기술, 자동 확장 기능(Autoscaling)을 통해 안정적인 성능을 제공한다. 전용 환경(Dedicated Endpoints)을 사용할 경우 기존 방식 대비 GPU 비용을 50% 이상 절감할 수 있다. 또한 OpenAI와 호환되는 API를 지원해 기존 AI 서비스와의 연동도 용이하다.

 전 대표는 “AI 도입을 검토하는 기업들에게 가장 큰 고민은 비용과 운영 복잡성”이라며, “프렌들리 AI 는 고성능 AI를 보다 쉽고 합리적으로 활용할 수 있는 인프라를 지속적으로 제공할 것”이라고 밝혔다.

 한편 프렌들리 AI 는 전용 AI 추론, 서버리스 API, 컨테이너 기반 솔루션을 통해 48만 개 이상의 AI 모델을 지원하고 있으며, 스타트업부터 대기업까지 다양한 고객의 프로덕션 환경에서 AI 추론 서비스 운영을 지원하고 있다.

최용석 기자 duck8@donga.com