[단독] 프라사드 칼야나라만 AWS 부사장 "향후 인프라 투자 방향, 고객이 원하는 대로" [AWS 리인벤트 2023]

[라스베이거스]

“AWS가 제공하는 자원의 90% 이상이 고객들이 원하는 것에 맞춰져 있다. 고객이 특정 기반 모델에 대해 얘기한다면 그것을 선택하고, 멀티모달이나 텍스트 베이스 모델 등을 원한다면 모델의 다양성에 대해 투자할 것이다. 리인벤트는 어떻게 특정 서비스를 더 간소화하고, 영향력을 가져갈 수 있는지를 확인할 수 있는 자리다”

프라사드 칼야나라만(Prasad Kalyanaraman) AWS 글로벌 인프라 서비스 부사장에게 내년의 투자 방향에 대해 묻자 돌아온 대답이다.

크게보기

프라사드 칼야나라만(Prasad Kalyanaraman) AWS 글로벌 인프라 서비스 부사장 / 출처=IT동아

그가 이끌고 있는 AWS 글로벌 인프라 서비스는 전 세계 32개 지역(리전)에 102개 이상의 가용성 영역, 그리고 550개 이상의 접속 지점을 제공한다. AWS가 제공하는 클라우드 자원은 배경에 대해 설명하자면 AWS가 제공하는 클라우드는 리전(Region)이라는 지역적 단위로 구분되며, 해당 지역 내에 물리적인 서버가 존재한다. 인프라 서비스는 이 서버에 대한 관리 및 서비스를 수행하며, 프라사드 칼야나라만 AWS 인프라 서비스 부사장은 이 과정이 원활하게 제공될 수 있도록 물류 및 공급망 관리, 운영 등을 담당하고 있다.

2005년부터 AWS에서 근무한 칼야나라만은 공급망 최적화와 기민한 해결 방안 제시, 확장성 및 제품 관리 분야 등에 걸친 경험을 갖고 있고, 이를 활용해 유틸리티 컴퓨팅 및 네트워크 서비스의 효율화를 지원한다. 또한 AWS 마켓플레이스 ISV와 같은 솔루션과 아키텍처 유지 관리 등의 업무도 맡고 있다. IT동아에서 프라사드 칼야나라만 AWS 부사장과 단독 인터뷰를 진행했다.

“NPU, FPGA, RISC-V도 고객이 필요하면 마련할 것”

우선 그에게 올해, 그리고 내년 투자의 방향성에 대한 질문부터 던졌다. 프라사드 칼야나라만은 “올해, 그리고 내년 인프라 서비스 투자의 방향은 대체로 생성형 AI와 맞물려있다. 올해 기조연설에서 공개된 그라비톤 4, 트레이니엄 2 칩, 아마존 S3 클라우드까지도 모두 생성형 AI 수요에 대응하기 위한 제품들이다”라며 투자 방향을 설명했다.

크게보기

프라사드 칼야나라만 부사장은 고객이 필요하다면 서드파티 AI 가속기도 도입할 수 있다고 답했다 / 출처=IT동아

또한 90% 이상의 투자는 모두 고객 중심적인 결정이라는 점도 강조했다. 그는 “AWS의 생성형 AI 전략은 인프라스트럭쳐 계층이 있고, 그 위에 대형언어모델(LLM) 계층, 최상위에 애플리케이션 레이어가 있다. 인프라 투자 역시 이와 궤를 같이한다”라면서, “따라서 고객들의 요청이 커진다면 서드파티 브랜드의 NPU, ASIC, FPGA, RISC-V까지도 AWS 인프라에 도입할 수 있다. 엔비디아의 GH200 그레이스호퍼 슈퍼칩 역시 같은 맥락에서 도입한 것이다”라고 말했다.

현재 AWS는 CPU와 GPU 등 인프라의 핵심 자산을 내재화하고 있으나, 업계에서 주로 사용되는 인텔 및 AMD CPU, 엔비디아 GPU 등의 하드웨어는 별도 인스턴스로 제공하고 있다. 텐스토렌트의 RISC-V나 퓨리오사AI의 NPU도 사용을 원하는 기업이 늘어난다면 AWS로서는 도입하지 않을 이유가 없다는 의미다.

지속가능성·효율 고려한 냉각방식 전환도 고려 중

크게보기

젠슨 황 엔비디아 CEO(우측)가 아담 셀립스키 AWS 최고경영자(좌측)이 진행하는 기조연설에 깜짝 등장했다 / 출처=IT동아

지난 기조연설에서는 젠슨 황 엔비디아 최고경영자가 직접 등장해 AWS가 엔비디아 GH200을 도입한다는 소식을 전했다. AWS가 엔비디아 GH200 NVL32를 도입하게 되면 자연스럽게 데이터센터에도 액체 냉각 방식을 도입하게 되는 것인데, 액체 냉각 혹은 액침 냉각 등 올해 들어 주목받고 있는 최신 냉각 방식을 인프라 전반에 확대할 생각이 있는지에 대해 물었다.

프라사드 칼야나라만은 “지금까지 AWS의 데이터센터 디자인은 주로 외부 공기와 순환하는 프리 쿨링 방식을 도입해 왔다. 하지만 기계학습용 반도체들이 더 많이 필요하게 될수록 액체 냉각도 필요하게 될 것이다”라면서, “일단은 콜드 플레이트 쿨링을 선제적으로 도입할 예정이고, 전면적인 액체 냉각, 액침 냉각 등은 고려 단계”라고 말했다. 다만 어떤 특정 리전에서 테스트를 하기보다는 필요성이 제기되는 지역부터 도입을 고려할 것이라고 덧붙였다.

AWS, 삼성전자는 물론 SK하이닉스로부터도 HBM3 주문

크게보기

프라사드 칼야나라만 부사장은 삼성전자 뿐만 아니라 SK하이닉스로부터도 HBM3를 공급받고 있다는 사실을 확인해주었다. 사진은 SK하이닉스의 HBM3 메모리 / 출처=SK하이닉스

인공지능 반도체의 핵심 부품으로 떠오른 HBM3(고대역 메모리)는 어떤 기준으로 선택하는지를 물었다. HBM3는 삼성전자와 SK하이닉스가 전 세계 시장 점유율의 약 90%를 차지하고 있다. 프라사드 칼야나라만은 “HBM3는 굉장히 중요한 부품이고, 기계학습 구축에 핵심이 된다. 그렇기 때문에 AWS는 삼성전자 이외에도 SK하이닉스를 포함한 모든 HBM3 제조사로부터 부품을 받고 있다”라고 말했다. SK하이닉스가 AWS에 HBM3 메모리를 공급한다는 사실이 확인된 건 이번이 처음이다.

마지막으로 프라사드 칼야나라만 부사장은 “AWS에게 있어 한국은 중요한 시장이며, 삼성전자와 넥슨과 같은 대기업들이 우리와 함께하고 있다는 것이 기쁘다. 앞으로도 서울 리전을 통해 많은 고객들에게 신뢰할 수 있는 서비스를 꾸준히 제공하겠으며, 생성형 AI에 대해서도 만족도 높은 결과를 제공하기 위해 노력하겠다”라고 인터뷰를 마쳤다.

IT동아 남시현 기자 (sh@itdonga.com)