극본 쓰고 발레 안무 구상… 인공지능, 창작 영역에 도전하다

[위클리 리포트] 기술 넘어 창작까지… AI 예술 시대 가능할까
국립국악관현악단 ‘부재’ 공연서
국내 최초 로봇 지휘자 등장해 화제
정확한 박자 젓는 모습 인간과 유사

국립국악관현악단은 30일 서울 중구 국립극장 해오름극장에서 ‘관현악시리즈Ⅳ-부재(不在)’ 공연을 열고 국내 최초로 지휘 로봇 ‘에버6’의 단독 지휘에 맞춰 연주했다. 국립극장 제공

《공연예술로 영역 넓히는 AI

‘로봇’은 100여 년 전 체코 희곡 ‘로숨의 유니버설 로봇’에서 처음 사용됐다. 허무맹랑하다고 여겼던 상상은 오늘날 로봇이 지휘하고, 인공지능(AI)이 희곡을 쓰며 현실이 됐다. 인간의 창조적 영역인 예술을 기술이 대체할 수 있을까.》


가장 ‘아날로그적’인 예술로 꼽히는 공연계에도 로봇과 인공지능(AI) 바람이 불고 있다. 소설, 만화, 음악 등에 이어 사람과 현장이 핵심이라 여겨지던 공연 장르에서 신기술을 적극 시도하기 시작한 것. 지난해 생성형 AI인 챗GPT가 공개된 이후 인간의 가장 창조적 활동으로 여겨진 종합예술의 영역을 AI가 대체할 수 있을지에 대한 담론이 급속히 확산 중이다.

● AI가 제작에 참여한 무용과 연극

지난달 27일 서울 서초구 예술의전당 N스튜디오 연습실에서 국립발레단이 안무 인공지능(AI) ‘리빙 아카이브’를 이용해 ‘피지컬 싱킹+AI’ 공연을 연습하고 있다. 단원들의 춤동작을 카메라로 찍으면 AI가 연결하기 좋은 동작을 추천해 준다. 신원건 기자 laputa@donga.com

지난달 27일 서울 서초구 예술의전당 N스튜디오 국립발레단 연습실에서 한 무용수가 한쪽 무릎을 꿇은 채 반대편 손으로 하늘을 가리켰다. 이를 지켜보던 이영철 국립발레단 지도위원은 안무 AI ‘리빙 아카이브’를 켜고 카메라로 무용수의 몸짓을 찍었다. 무용수의 골격을 인식한 AI가 해당 동작과 연결하기 좋은 동작들을 순식간에 추천해줬다. 안무가마다 1명씩 붙는 어시스턴트 역할을 일부 대신해준 것이다. 이 위원은 그중 가장 매끄럽게 이어질 움직임끼리 조합해 무용수에게 제시했다. 거울 앞에 선 무용수는 춤을 따라 춰보며 자신만의 스타일로 소화해낼 방법을 찾기 시작했다.

국립발레단이 1, 2일 서울 서초구 예술의전당 CJ토월극장에서 선보이는 ‘KNB 무브먼트 시리즈8’의 ‘피지컬 싱킹+AI’는 이런 방식을 거쳐 창작됐다. 전반적인 콘셉트는 챗GPT가 구상했다. 챗GPT에 ‘탄생, 연결, 여행자’ 등의 키워드를 주고 ‘한 사람의 인생과 AI의 탄생을 엮은’ 짧은 이야기를 써달라고 한 것. 이를 토대로 이 위원이 구글 리빙 아카이브와 아이바(AIVA·작곡 프로그램) 등 AI를 활용해 안무와 음악을 구성했다.

이 위원은 “안무가들도 자기 스타일을 벗어난 동작을 상상하는 데 한계가 있다. AI가 나열한 수만 개의 동작을 보면서 안무의 영감을 얻었다”고 했다. 이어 “AI가 전문 안무가의 수준까진 따라잡지 못했지만, 비전공자를 비롯해 누구나 춤을 출 수 있도록 장벽을 낮추는 데 역할을 했다고 본다”고 말했다.

지난달 26일 서울 중구 국립극장 해오름극장의 연습실에선 푸른 불빛이 깜박이는 로봇 지휘자가 양손을 부드럽게 들어 올리자 국립국악관현악단 단원 60여 명의 시선이 동시에 그의 손끝을 향했다. 로봇 지휘자는 국내 최초로 공연의 연주를 지휘하는 안드로이드 ‘에버6’다. 에버6는 단원들의 연주를 이해한다는 양 가만히 고개를 끄덕이며 관현악단 대표 레퍼토리인 ‘말발굽 소리’를 차분하게 이끌었다. 북이 울리고, 국악기 선율이 휘몰아치는 절정에 치닫자 에버6의 지휘봉은 더 높은 곳을 찌르며 빠르게 움직였다. 깔끔한 비팅(beating·박자 젓기)과 정확한 템포는 마치 인간 지휘자를 보는 것 같았다. 다만 에버6는 실제로 소리를 듣지 못하는 데다 프로그래밍된 대로만 움직일 수 있어 연주자들과 실시간 호흡하는 것은 불가능했다.

에버6의 지휘로 화제가 된 국립국악관현악단의 ‘관현악시리즈Ⅳ―부재(不在)’가 30일 1200여 석 규모의 해오름극장에서 공연됐다. 한국생산기술연구원에서 개발한 에버6는 먼저 대표 레퍼토리 2곡(말밥굽 소리, 깨어난 초원)을 단독으로 지휘한 뒤 지휘자 최수열이 이끄는 즉흥곡 ‘감’의 패턴 지휘를 도왔다. 애버6를 개발한 이동욱 한국생산기술연구원 수석연구원은 “정예지 지휘자를 학습모델로 삼은 에버6는 모션 캡처, 모션 최적화 등 기술을 통해 지휘봉의 궤적을 학습했다”며 “로봇 특유의 딱딱한 관절 움직임이 ‘불쾌한 골짜기(The uncanny valley·어딘가 부자연스럽고 이상하게 느껴지는 것)’를 불러일으키는 것과 달리 에버6는 인간의 움직임을 자연스럽게 따라 할 수 있어 정서적 교감이 비교적 쉬운 편”이라고 설명했다.

지난해 8월 초연된 ‘인공지능 시극 파포스’에서 배우 박병호(왼쪽)와 김수훈이 시 창작 AI ‘시아’가 쓴 시를 연기하고 있다. 공연은 ‘수학’을 시제로 쓴 시아의 시 20여 편으로 구성됐다. 리멘워커 제공

극작가와 연출가의 상상력을 토대로 살아 있는 배우, 스태프들이 무대를 완성하는 연극 역시 AI의 밀물을 막을 수 없다. AI가 쓴 시를 연극으로 만든 ‘인공지능 시극 파포스 2.0’이 다음 달 10일부터 13일까지 서울 종로구 ‘인사동 코트’에서 공연될 예정이다. 시 창작 AI ‘시아’가 주어진 시제에 맞춰 시를 쓰고, 챗GPT가 이를 대본화하면 연출가와 소설가가 다듬어 극을 완성한다. 배우 3명이 연기하고, 무용수 2명과 연주자 5명이 퍼포먼스를 곁들인다. 작품의 연출가인 김제민 서울예대 공연학부 교수는 “AI의 논리적인 사고방식과 시극 창작이 대척점에 놓여 있을 것 같지만, 사람이 시를 쓸 때 언어적 규칙이 깨지는 양상은 AI에 오류가 발생하는 과정과 닮아 있다”고 말했다.

● AI 창작, 인간 감수성 대체하기엔 한계

하지만 공연계 현장에서는 ‘AI가 예술가를 대체하기엔 아직 기술력이 부족하다’는 평가가 우세하다. 글쓰기, 작곡 등 혼자서도 가능한 창작 영역과 비교해 다수가 출연하는 연극 무용 등의 장르는 언어 너머 교감을 통한 협력을 필요로 하기 때문이다.

국내 최초로 로봇 에버6와 함께 관현악단 연주를 이끈 최수열 지휘자는 “정확한 박자 계산은 로봇이 유리하더라도 순간적으로 박자를 밀고 당기는 루바토, 시선 교환을 통한 단원들과의 소통은 인간을 능가하지 못함을 체감했다”고 했다. 이어 “리허설 초반 에버6의 지휘가 자꾸만 빨라진다고 느꼈는데 오류가 아니었다. ‘인간’ 단원들의 자연스러운 호흡 속도에 맞출 줄을 몰랐던 것”이라고 덧붙였다. 국립발레단의 ‘피지컬 싱킹+AI’ 역시 작곡AI인 아이바가 만든 음악의 완성도가 떨어져 결국 기본 선율은 쓰되 별도의 작곡가가 곡을 완성시켰다.

2017년 지휘 로봇 ‘유미’가 성악가 안드레아 보첼리와 호흡을 맞춰 오페라 ‘리골레토’의 아리아를 공연했을 때 유미의 학습 모델이었던 지휘자 안드레아 콜롬비니는 “팔만 갖고 있을 뿐 영혼이 없어 인간 지휘자의 감수성을 대체할 수 없다”고 평가하기도 했다.

하지만 일각에선 기술이 급속도로 발전함에 따라 ‘판도가 언제 뒤집힐지 모른다’는 전망과 함께 발 빠른 대응이 필요하다는 목소리도 나온다. 김제민 교수는 “불과 2, 3년 전만 해도 공연 제작에 AI를 들인다는 건 엉뚱한 시도로 여겨졌지만 최근 AI의 학습 속도, 데이터 수집 방식 등이 급격히 발전하며 공연계에 빠른 속도로 유입되고 있다”며 “AI를 인간과 대립하는 존재로 치부하기보단 창작 영역을 확장하는 도구로 보고 어떻게 활용할지를 모색하는 것이 중요하다”고 강조했다.

뮤지컬 평론가인 원종원 순천향대 미디어커뮤니케이션학과 교수는 “AI를 관객 수요나 유행을 분석하는 보조자로서 활용한다면 공연 한 편을 올리는 데 드는 시간과 비용을 효율적으로 절감할 수 있다. 이를테면 ‘그동안 가장 호응이 높았던 조명 작동 방식’을 쉽고 빠르게 찾아내는 것”이라며 “작곡과 노래는 사람이 하되 반주는 AI가 하는 식으로 인간이 기술과 공생할 수 있는 방법을 모색해야 한다”고 말했다.

그간 공연계가 강조해왔던 ‘인간성’의 정의를 재정립하는 작업이 선행해야 한다는 지적도 나온다. 공연은 무대 위 신체의 등장, 관객과 동시에 호흡하는 현장성이 중요한 장르인 만큼 작품 주제 선정과 제작 방식 모두 인간 중심적 사고를 중심으로 이뤄졌다. 이은경 연극평론가협회장은 “향후 AI가 인간과 유사한 수준의 사고를 하게 된다면 단지 인간의 수단으로만 볼 수 없다. 기술 발전이 어차피 당면해야 할 과제라면 AI가 우리 삶과 어떻게 상생할 수 있을지를 고민하는 게 맞다”며 “지금까지의 예술이 로봇과 동식물 등 인간 외의 존재들을 배제한 채 인간성을 논한 것은 아닌지 돌아봐야 할 때”라고 말했다.

문학-웹툰-음악… 예술 분야 급속히 퍼지는 ‘AI 창작’ 바람

인공지능 활용 창작, 어디까지 왔나
“효율성에 창의성 북돋워” 평가 속
가짜 음원-작가 파업 등 논란도 커
신기술 창작 활용 규정 속속 마련

최근 인공지능(AI)은 공연계뿐 아니라 예술 창작 전반에 적극적으로 활용되고 있다.

대표적인 분야가 문학이다. 질문을 던지면 답을 내놓는 대화형 AI ‘챗GPT’를 활용해 글을 짓는 방식은 이미 널리 쓰이고 있다. 2012년 중국인 최초로 노벨 문학상을 받은 작가 모옌은 지난달 19일(현지 시간) 챗GPT를 활용해 시상식에서 발표할 글을 작성했다고 고백해 충격을 줬다. 7명의 인간 작가가 챗GPT로 창작한 단편소설집 ‘매니페스토’(네오북스)가 올 4월 출간되는 등 국내 작가도 활발히 AI를 활용하고 있다.

웹툰 업계에서도 AI는 화두다. 네이버웹툰이 2021년 10월 출시한 ‘AI페인터’는 웹툰 30만 장의 데이터를 학습한 AI가 인물의 얼굴이나 신체, 배경 등에 자연스럽게 색상을 입혀주는 기능을 갖췄다. 명령어를 쓰면 10초 만에 이미지 여러 장을 만드는 ‘노블AI’도 웹툰 작가를 돕는다. ‘공포의 외인구단’(1983년) 등으로 한국 만화계를 이끈 이현세 화백은 지난해 10월부터 44년 동안 창작한 만화책 4174권을 컴퓨터에 학습시켜 자신의 그림체를 구사할 수 있도록 하는 ‘AI 이현세’ 프로젝트를 진행하고 있다. 이 화백은 “AI에 내 그림을 학습시키면 (내 작품 창작이) ‘불멸’, ‘영생’할 수 있는 셈”이라고 했다.

음원 창작 분야에서도 AI 기술이 활용되고 있다. 음원 서비스 기업인 지니뮤직은 28일 AI 기술을 활용한 악보 기반 편곡 서비스 ‘지니리라’를 선보였다. 노래 음원을 입력하면 AI가 즉석에서 악보를 따 주고 편곡까지 가능하게 해 준다. 김형석 작곡가의 대표곡을 AI로 편곡하는 프로젝트도 진행 중이다. 김 작곡가는 “AI는 효율적인 제작 방식을 제공할 수 있을 뿐만 아니라 창의성을 북돋는 영감까지 줄 수 있을 것 같다”고 했다.

AI 활용에 따른 논란도 일고 있다. 네이버웹툰에 지난달 22일 처음 공개된 ‘신과 함께 돌아온 기사왕님’은 AI를 활용해 보정 작업을 거친 사실이 알려져 독자 사이에서 논란이 됐다. 올 4월 유명 가수 드레이크와 위켄드가 함께 부른 것처럼 보이는 신곡이 음원 플랫폼에 올라왔다가 AI로 만든 음원이라는 사실이 뒤늦게 밝혀져 삭제되기도 했다. 미국작가조합(WGA) 소속 작가들이 지난달 17일(현지 시간) “AI는 문학(대본 창작)에 사용될 수 없고, 작가들의 작업물은 AI 학습 훈련에 쓰이면 안 된다”며 파업을 벌일 정도로 반발도 적지 않다.

AI 활용을 일부 제한하는 규정도 속속 만들어지고 있다. 미국의 대중음악 시상식인 그래미 어워드는 17일(현지 시간) 인간의 기여가 크지 않은 AI 곡이라면 상을 받을 수 없다고 밝혔다. 네이버웹툰은 정식 연재 작가들에게 생성형 AI를 활용하지 말아 달라고 권고하고, 공모전 도중 ‘생성형 AI 활용이 불가하다’는 방침을 새로 세웠다. 문화체육관광부는 올해 9월까지 ‘저작권 관점에서의 AI 산출물 활용 가이드’(가칭)를 마련해 AI 기술 발전에 따른 저작권 제도 개선 방안을 논의할 계획이다.

이지윤 기자 leemail@donga.com
이호재 기자 hoho@donga.com