세상의 중심에서 콘텐츠를 외치다, 2021 콘텐츠임팩트 (2)

인터랙티브(Interactive)는 상호작용을 뜻하는 영어 단어로, 한 개체의 기능과 다른 개체가 직접 작용해 이뤄지는 활동을 뜻한다. 일반적으로는 사람이 특정 사물을 조작하거나 개입하는 행위를 통해 결과가 바뀌는 현상을 뜻하지만, 최근에는 기계는 물론 미디어나 예술 등 문화적 영역으로 그 의미가 확장하고 있다. 작가나 화자가 청자에게 일방적으로 메시지를 전달하는 것을 전통적인 비 상호작용 전개라고 한다면, 청자의 선택이나 개입으로 인해 원래 의도되어 있던 결과가 바뀌는 전개를 상호 작용, 인터랙티브라고 할 수 있다.

관람객이 직접 참여하는 방식의 예술이 시도된 것은 1920년대로 거슬러 올라가지만, 현대적인 인터랙티브 아트는 컴퓨터와 센서를 활용한 기술이 대중화되기 시작한 1990년대 이후부터다. 그로부터 30여 년이 지난 지금의 인터랙티브 아트는 쌍방향 댄스와 음악, 심지어 드라마와 게임까지 등장하고 있으며, 예술 분야에서도 설치형 예술과 인터랙티브 아키텍처, 인터랙티브 연극 등 다양한 형태가 등장하고 있다. 이런 방식의 예술은 전통적인 현대 미술에서 결핍된 부분의 균형을 맞춘다고 평가를 받고 있으며, 예술 작품이 어떤 형식적인 형태를 달성하는 데 있지 않다는 메시지를 담는다.

4차 산업 혁명, 새로운 예술 분야를 창출하다

발표를 진행하고 있는 'Multi-Persona'팀. 제공=한국콘텐츠진흥원

특히나 4차 산업 혁명 시대에서는 인터랙티브 아트의 중요성이 더욱 커진다. 5G 네트워크는 초고속과 초저지연을 통해 대륙과 대륙 사이를 실시간으로 오가는 예술을 만들 수 있고, 가상 현실(Virtual Reality, 이하 VR) 및 증강 현실(Augmented Reality, 이하 AR)은 가상에서 구현된 세상에 직접 참여하고 바꿔놓을 수 있다. 정보통신(IT) 기술의 주류를 달리고 있는 인공 지능과 빅데이터 역시 인터랙티브 예술 분야에서는 기계와의 조우를 창조하는 새로운 요소가 될 수 있다.

우리나라 역시 예술과 4차 산업 혁명이 공존하는 미래를 위한 사업을 추진 중이다. 문화체육관광부(장관 황희)와 한국콘텐츠진흥원(원장 조현래, 콘진원)이 주최하는 ‘2021 콘텐츠임팩트’ 사업은 5G, 블록체인, 빅데이터, AR, VR 등 미래 기술과 관련된 콘텐츠 기업, 창작자와 개발자의 협업을 통해 차세대 문화 및 예술 시장을 이끌 미래 융복합 전문 인재를 양성을 목표로 한다. 사업은 지난 2018년 시작해 올해로 네 번째에 접어들고 있으며, 매년 과학 기술과 예술을 융합한 다양한 문화 예술 및 공연 콘텐츠를 제작해 시연한다.

팀 'EP'가 ‘사용자의 개성을 표현하는 디지털 휴먼’에 대한 시연을 하고 있다. 제공=한국콘텐츠진흥원

올해 사업에는 총 193명의 교육생이 참가해 ▲ 과학 기술과 미디어 아트를 결합한 ‘다빈치 프로젝트’ ▲ 감성 인식 기술과 인터랙티브 콘텐츠를 조합한 ‘콘텐츠, 공감하다’ ▲ 공연 기술과 라이브 퍼포먼스를 합친 ‘Future on the Stage’ ▲ 실감 기술과 메타버스가 합쳐진 ‘콘텐츠, 메타버스로 진화하다’ ▲ 인공지능과 하이브리드 콘텐츠를 조합한 ‘AI Meets Hybrid’까지 다섯 개의 세부 주제를 두고 37개 프로젝트가 진행된다. 현재 모든 프로젝트는 지난 11월 2일에서 9일 사이에 걸쳐 결과를 발표하는 ‘통합 쇼케이스’를 진행했으며, 이들이 보여준 열정을 다섯 차례에 걸쳐 시리즈로 전달한다.

‘인터랙티브 콘텐츠’, 어떤 시각으로 접근했을까?

어벤져스M 팀이 발표를 진행하고 있다. 제공=한국콘텐츠진흥원

‘어벤져스M’팀이 진행한 프로젝트 ‘MY EMOTION DIARY’는 감정인식 기술을 적용한 일기장 서비스다. 어벤져스M팀은 사회 초년생이 코로나 블루(코로나19로 기인한 우울증)를 겪는 사례가 많지만, 자신의 감정을 정확하게 알지 못해 타인과의 소통에 어려움을 겪고 있다는 점에 주목했다. 서비스는 참여자가 작성한 일기장의 문자를 인식해 감정을 해석하고, 이렇게 해석된 감정을 토대로 자신과 비슷한 맥락으로 감정의 변화를 겪는 타인의 심정을 공유한다. 참여자는 타인의 감정을 바라봄으로써 현 상황에 대한 본인의 감정을 인지하고, 감정 공유로 인한 스트레스 해소를 받는다.

Alive 팀의 WE ARE ALIVE의 구성에 대한 소개. 제공=한국콘텐츠진흥원

‘Alive’팀이 구현한 ‘WE ARE ALIVE’는 참여자의 체험을 기반으로 하는 비주얼 인터랙티브 전시다. Alive 팀은 실용음악과와 영화과가 만난 팀으로, 예술과 기술이 공감하는 작품을 그리고 있다. 이들이 기획한 ‘WE ARE ALIVE’는 음성 인식과 뇌파(EEG)를 통해 참여자의 감정을 인식한 상태에서, 사회화 과정을 거치지 못한 2050년대 미래의 생존자 ‘찬이’와 대화를 한다. 대화를 통해 참여자와 찬이는 상호 신뢰 관계(라포르, rapport)를 쌓아가게 되고, 이렇게 형성된 관계는 실시간으로 화면 속에서 구체화한다. 참여자는 실시간 뇌파 분석을 통해 현재의 감정에 맞는 다양한 장르의 음악을 듣게 되며, 기기는 표정을 분석해 관객의 감정을 작품 속 장치로 표현한다.

팀 ‘EP’는 최근 주목받고 있는 가상현실 구현 세계인 ‘메타버스(Metaverse)’를 기반으로 ‘사용자의 개성을 표현하는 디지털 휴먼’을 그려가는 과정을 만들었다. 이들은 메타버스에 대한 수요가 급증함에 따라 자신만의 개성을 가진 아바타를 갖고자 하는 사람들이 늘고 있음을 포착했다. 이를 위해 프로젝트는 사용자의 표정과 제스처를 모방하는 기술을 활용해 사용자의 외형과 감정 표현까지 개인화해 디지털 세상에서 활동하는 자신만의 디지털 휴먼을 만들어낸다. 팀 EP는 이렇게 만든 디지털 휴먼이 다양한 메타버스 세계에서 자신만의 개성을 갖춘 존재가 될 것으로 본다.

SOTA가 진행하고 있는 ‘DEMIAN : 함께 알을 깨다’의 무대 배경 위쪽을 보면 참여자의 심박수가 표기됨을 알 수 있다. 제공=한국콘텐츠진흥원

팀 ‘SOTA’의 ‘DEMIAN : 함께 알을 깨다’는 ‘관객 참여 감성 인터랙티브 공연’을 추구한다. 프로젝트는 연주자의 시선이 아닌 관객의 시선에서 바라보며, 사용자의 심박 수를 토대로 감정을 분석해 공연에 반영한다. 구체적으로 스마트 워치를 통해 수집된 감성 정보는 중앙 제어를 통해 사용자의 알 형태의 오브제와 연극 배경에 직간접적으로 반영된다. 연주자들은 관객의 반응을 토대로 실시간 분위기에 맞는 곡을 연주한다. 공연은 인간의 자아 형성 과정을 보여주는 헤르만 헤세의 ‘데미안’을 모티브로 관객이 공연을 감상하며 미래를 선택하고, 참여하고, 공감함으로써 극복해야할 현실, 즉 알에서 깨어나는 과정을 만들어간다.

Team Flowerpot의 Daisy를 플레이하고 있다. 제공=한국콘텐츠진흥원

‘Multi-Persona’ 팀의 ‘voyage’는 수많은 나를 총체적 자아로 인정하며, 기존에 고정된 자기에서 벗어나 자유로이 살아갈 수 있도록 자아를 발견하는 여정을 그린다. 비주얼 퍼포먼스로 구현된 공간에서는 감정을 깨우는 질문들로 관객의 호응을 유도하며, 공간 속에 있는 관객의 표정을 통해 공간의 소리와 색이 변화한다. 참여자는 비주얼 퍼포먼스를 통해 ‘나다움’을 발견하기에 이른다.

아울러 ‘Team Flowerpot’의 ‘Daisy’는 특정한 스토리 라인에 따라 반응하는 퍼즐을 맞춰가며 진행하는 게임이다. 일반적인 비주얼 노벨 게임과 달리 참여자를 인식하여 행동하는 등장인물과 반응형 미디어 아트 요소가 결합해 차별화된 게임 경험을 제공한다. 참가자는 ‘Daisy’를 즐기며 차별화된 요소를 찾아가며, 게임을 통해 극대화된 감정을 그래픽과 사운드로 느낄 수 있다.

수동적이지 않고 능동적인 예술을 찾는 과정

콘텐츠임팩트의 인터랙티브 콘텐츠 부문인 '콘텐츠, 공감하다' 과정은 기술을 통해 기존의 문화, 예술의 깊이감을 한 단계 더 끌어올리는 과정이라 할 수 있다. 지금까지는 일방적으로 소통하는 단방향 감상이었다면, 인터랙티브 아트는 참여자가 내용을 그려감으로써 작품의 이해를 돕고 개성 있는 결과를 도출한다. 이는 기술과 예술이 결합해 진화하는 과정이라고 할 수 있으며, 다양한 응용 분야에 적용함으로써 더 많은 경제적 가치를 창출해낼 수도 있다. 인터랙티브 아트의 미래가 갈수록 긍정적인 이유다.

동아닷컴 IT전문 남시현 기자 (shnam@donga.com)