‘일흔살 발레리노’ 연기한 배우…고난도 발레 동작에 인공지능 있었네

tvN 월화드라마 ‘나빌레라’ 주요 장면 (CJ올리브네트웍스 제공) © 뉴스1

지난해 인공지능(AI) 기술을 활용해 가수 ‘거북이’ 멤버 고(故) 터틀맨(임성훈) 얼굴을 재현하며 감동을 선사한 CJ올리브네트웍스가 이번엔 ‘일흔살 발레리노’ 역할을 맡은 드라마 주인공 얼굴에 AI 합성기술을 접목해 몰입감을 제공했다.

11일 CJ올리브네트웍스는 지난달 종영한 드라마 ‘나빌레라’ 속 고난도 발레 장면에 자사 AI 기반 얼굴 합성 기술을 적용했다고 밝혔다. tvN월화드라마 ‘나빌레라’는 나이 일흔에 발레를 시작한 ‘덕출’(박인환)과 스물셋 꿈 앞에서 방황하는 발레리노 ‘채록’(송강)의 성장 스토리를 담았다.

나빌레라는 국내 최초로 드라마에 페이스 에디팅 기술(Face Editing)을 적용한 드라마다. CJ올리브네트웍스는 스튜디오드래곤, CJ ENM과의 협업을 통해 고난도 발레 장면에 발레리노 대역 안무와 주연 배우의 얼굴을 합성해 정교하면서도 자연스러운 모습을 연출, 많은 시청자에게 생동감과 감동을 선사했다.

CJ올리브네트웍스의 페이스 에디팅 기술은 AI를 기반으로 구현된다. 해당 기술은 Δ학습 데이터 수집 Δ데이터 처리 Δ모델 학습(GAN) Δ얼굴 교체 과정으로 진행됐다.

CJ올리브네트웍스 AI-Core 연구소는 작품의 완성도를 높이기 위해 원본 얼굴과 대상 얼굴을 추출하고, 추출 데이터를 분석 및 시각화해 최적의 학습 데이터셋을 구축했다. 나아가 AI기술 중 하나인 GAN(생성적 적대 신경망) 기술을 사용해 해당 영상의 각 프레임에 교체할 얼굴을 합성했다.

이러한 회사의 기술력은 두 배우의 피날레 발레 공연이 담긴 마지막 회에 빛을 발했다. 연구소는 주인공들의 이목구비뿐 아니라 머리의 전체적인 구조와 목 부분까지도 자연스럽게 합성했고 그 결과, 생동감 있는 고난도 발레 장면을 연출할 수 있었다.

손종수 CJ올리브네트웍스 AI-Core 연구소장은 “자체 개발한 얼굴 합성 최적화 기술을 고도화하는 등 AI 기반의 페이스 에디팅 기술을 통해 휴머니즘과 감동을 지속적으로 제공하고 미디어 산업 발전에도 기여할 예정”이라며 “사회적으로도 해당 기술이 악용되는 일이 없도록 블록체인 등의 인증 기술을 사용하여 보완 장치를 마련하겠다”고 말했다.

CJ올리브네트웍스가 인공지능(AI)기술을 활용해 그룹 거북이의 고(故) 터틀맨(임성훈) 얼굴을 재현했다. (CJ올리브네트웍스 제공)© 뉴스1

한편 CJ올리브네트웍스는 지난해 12월 Mnet 프로그램 ‘다시 한번’에서 고인이 된 터틀맨(임성훈) 얼굴을 AI 기반의 페이스 에디팅 기술로 재현한 무대를 선보이며, 그를 추억하는 팬과 동료, 가족에게 감동을 안긴 바 있다.

(서울=뉴스1)