5년 후 AI 추론 비용 90% 뚝 떨어지는데…기업 청구서는 늘어난다?

오는 2030년이면 인공지능(AI) 운영 비용이 지금보다 90% 이상 저렴해질 것이라는 전망이 나왔다. 최근 구글이 인공지능(AI) 추론 비용을 획기적으로 낮출 ‘터보퀀트’를 발표하는 등 비용 혁신 기술이 잇따라 개발되고 있기 때문이다. 30일 글로벌 시장조사기관 가트너는 2030년까지 1조 개의 파라미터(매개변수)를 가진 거대 모델의 추론 비용이 2025년 대비 90% 이상 하락할 것으로 내다봤다. 이는 2022년 초기 모델과 비교하면 비용 효율성이 최대 100배나 개선되는 수준으로, 생성형 AI 모델이 데이터를 처리할 때 사용하는 기본 단위인 ‘토큰’ 가격이 빠르게 낮아지고 있기 때문이다 반도체 성능 개선, 모델 설계 혁신, 인프라 효율화, 그리고 기기 자체에서 AI를 구동하는 엣지 디바이스의 확산 등이 복합적으로 작용한 결과라고 가트너측은 설명했다. 실제 토큰 가격 하락은 이미 현실화되고 있다. 최근 구글 리서치는 AI 모델의 추론 과정에서 발생하는 메모리 병목 현상을 해 자세히 보기