체스, 바둑, 다음엔 노래?… ‘AI 가수’ 시대 곧 온다

‘노래하는 인공지능’ 성큼

인공지능 오페라 가수 ‘미온’은 2년 동안 노래와 율동을 연습해 무대에 올랐다. 기계처럼 한 음절 한음절 또박또박 노래를 부르고, 발음도 부자연스럽지만 인공지능을 이용해 음을 합성하는 방식으로 노래한다. 베를린 ‘코믹 오페라’ 극장 제공

　　‘체스도, 바둑도 이겼다. 다음 목표는 정상급 가수다.’

　최근 인공지능 연구자 중 ‘노래하는 인공지능’에 관심을 보이는 경우가 늘고 있다. 노래 부르기는 악보에 따라 소리만 내면 될 것 같지만 곡에 대한 해석과 표현능력이 뒷받침되어야 해 고도의 지능이 필요하다. 연구자들은 최근 연구 흐름을 볼 때 수년 내에 프로 가수처럼 멋지게 노래 부르는 인공지능의 등장도 기대하고 있다.

○ 인공지능 로봇과 오페라 협연 진행

　컴퓨터가 노래를 부르게 만드는 기술은 이미 존재한다. 일본 야마하는 2004년 노래하는 음성합성 프로그램 ‘보컬로이드(Vocaloid)’를 출시했으며 현재 네 번째 버전인 보컬로이드4를 판매 중이다. 이 프로그램은 성우 한 사람의 목소리를 ‘유닛’이라고 부르는 녹음된 소리 단위로 수천 개 이상을 저장한 다음, 이 중에서 가사와 맞는 것을 골라 높낮이를 바꿔가며 출력해 소리를 낸다. 만약 녹음해 둔 소리 중 가사와 맞는 것이 없으면 기존 유닛을 합성해 가장 비슷한 소리를 즉석에서 만든다. ‘유닛 선택 합성’이라고 불리는 기술로, 애니메이션 영화 등에서 짤막한 노랫소리를 집어넣는 등 제한적으로 쓰이고 있다.

　최근엔 이 방식에서 벗어나 인공지능 기술을 동원한 경우도 나온다. 컴퓨터 스스로 판단을 하고, 소리를 자유자재로 합성해가며 사람처럼 노래를 부르는 기술이다. 2015년 7월 독일 훔볼트대 연구진이 만든 휴머노이드(인간형) 로봇 ‘미온’은 베를린 창작예술가 집단과 공동으로 오페라 무대에 올랐다. 미온은 이 공연에서 사람처럼 노래를 불러 관중을 놀라게 했다. 미온의 노래 실력은 베를린 보이트 기술대 만프레트 힐트 전자공학과 교수팀이 개발한 인공지능 프로그램에서 나왔다. 이 프로그램은 음표와 가사를 해석하고, 거기에 필요한 목소리를 스스로 합성해 노래를 부른다. ‘통계적 변수 음성 합성’이라고 불리는 기술로, 보컬로이드처럼 대량의 유닛을 저장할 필요가 없는 것이 장점이다.

○ 구글 ‘알파고’ 연구진, 가장 사람과 비슷한 음성합성기술 개발

　아직은 미온의 노래 실력이 보컬로이드보다 떨어진다. 기계음처럼 한 음절 한 음절 또박또박 발음하고, 발음도 부자연스럽다. 그러나 전문가들은 미온과 같은 인공지능 노래기술이 한층 발전 가능성이 더 크다고 보고 있다. 최근 인공지능의 노래 실력에 필수적인 ‘언어’ 부문 인공지능이 비약적으로 발전하고 있기 때문이다.

　인공지능 바둑프로그램 ‘알파고’로 유명한 영국 기업 ‘구글 딥마인드’는 9월 9일 ‘웨이브넷’이라는 음성합성 기술을 공개했다. 이 기술은 미온에 쓰인 것과 흡사한 것이지만 현재까지 나온 음성합성 기술 중 가장 사람과 비슷하다는 평가를 받고 있다. 필요하다면 영어 발음을 영국식, 미국식 등으로 자유롭게 바꿀 수도 있다. 국내 기업 카카오도 2014년 인공지능으로 글자를 읽어내는 ‘뉴톤 톡’이란 프로그램을 개발한 바 있으나 성능은 웨이브넷에 비해 떨어진다. 이 차이는 음의 ‘세분화’에 있다. 웨이브넷은 음성 합성 단위를 훨씬 잘게 쪼개서 합성하기 때문에 사람과 거의 비슷한 목소리를 낸다.

　김봉완 카카오 음성처리셀 부장은 “구글의 음성합성 기술은 계산량이 비약적으로 늘어 일반인들이 사용하기는 어려운 기술”이라면서도 “이 분야의 새로운 돌파구를 연 것은 확실하다”고 평가했다. 노래하는 인공지능을 개발하기 위한 마지막 난관은 ‘감정’이다. 노래는 음정, 세기 등이 정해져 있다. 즉 소리를 만들어 내는 것까지는 그리 어렵지 않지만 가수가 노래에 담긴 감정을 해석하고 표현하는 과정을 흉내 내기란 쉽지 않다.

　강홍구 연세대 전기전자공학부 교수는 “아직 감정까지 표현하는 음성합성 기술은 존재하지 않는다”며 “격한 감정을 표현할 땐 목소리를 크게 하는 등 다양한 기술이 발전하면 결국 사람만큼 노래를 잘 부르는 인공지능도 등장할 수 있을 것”이라고 말했다.

:: QR코드 ::

QR코드를 스마트폰으로 촬영하면 휴머노이드(인간형) 로봇 미온이 노래를 부르는 모습을 볼 수 있다. 미온은 스스로 음악을 해석해 노래 부르는 인공지능 가수다.
　
송준섭 동아사이언스 기자 joon@donga.com