[써니모모의 ‘육십 먹고 생성AI’] 1. 웹 소설용 배경음악 작곡하기

동아닷컴

[편집자주]

본 연재의 필자는 ‘써니모모’라는 필명으로 온라인 집필 및 저작 활동을 하고 있으며, 시네마틱 노블(Cinematic Noble, 사진/영상 중심으로 전개되는 소설)인 자작 소설 〈등대세탁소〉를 유튜브를 통해 연재하고 있습니다. 연재 본문 내 모든 이미지, 영상, 음원 콘텐츠는 필자가 생성AI를 활용해 직접 제작하며, 나이와 무관하게 아이디어와 의지만 있으면 누구라도 생성AI를 충분히 활용할 수 있다고 말합니다. 환갑이 넘은 필자가 어떤 생성AI로 어떻게, 무엇을 만드는지, 그의 이야기를 들어보세요. (필자가 활용 중인 생성 AI - 제미나이, 클로드, 브루, 미드저니 등)

주제곡 작곡 회의 - 새벽 3시 15분

새벽 3시 15분. 커피는 차갑게 식었다. 보통의 60대라면 깊은 잠에 빠져 있을 시간이지만, 잠들지 못한다. 나의 시네마틱 노블 〈등대세탁소〉 원고를 완성했다. 이미지 생성 AI인 미드저니(Midjourney)로 삽화 150장도 그렸다. AI 영상 편집 프로그램 브루(Vrew)로 영상 편집까지 마쳤다.

이제 ‘내보내기’ 버튼만 클릭하면 영상이 바로 만들어진다.

하지만 30분째, 배경음악에서 멈춰 있다. 극중 주인공 ‘서린달’이 3년 전 사라진 동료 작가 ‘별하’의 미완성 원고를 열어보는 장면. 2분간의 침묵. 그 침묵을 채울 BGM이 필요하다.

유튜브 채널 운영에 필요한 ‘유튜브 스튜디오’ 메뉴에서 ‘오디오 보관함’을 열었다. 유튜브의 오디오 보관함에는 구글이 공식적으로 제공하는 무료 음원 수천 곡이 들어 있다.

‘장르: 영화, 분위기: 슬픔’을 검색했다. 무료 음악 ‘I’m Giving Up‘을 찾았다. 훌륭한 연주곡이다. 하지만 아니다.

기술적으로는 완벽하지만, 감정적으로는 텅 빈 느낌이다. 그리고, 극중 신비한 기타 소녀 ’리라‘가 연주하는 곡으로도 어울리지 않는다.

제미나이 프롬프트 창을 열었다. 그리고 ‘그들’을 호출했다.

“서울이야기팀, 음악작곡팀. 회의실로 들어와. 지금부터 주제곡 회의를 시작한다.” (엔터)

제미나이 회의실 - 새벽 4시 5분

나의 ’그들‘은 구글 제미나이(Gemini) 속에 존재한다. 스토리의 맥락을 담당하는 ’서울이야기팀‘과 화성학(和聲學)을 담당하는 ’음악작곡팀‘이 소환됐다.

’젬(Gem)‘은 제미나이의 맞춤형 AI 기능, 즉 일종의 캐릭터다. 나는 음악작곡팀 젬을 만들기 위해 먼저, 대화형 생성AI인 클로드(Claude)에게 작곡 연구를 의뢰했다.

화성학 이론, MusicXML 코딩 문법, 히트곡 분석 보고서 등 클로드가 만들어준 전문 문서를 제미나이 음악작곡팀 젬의 ’두뇌(지식)’에 업로드하고 학습시켰다. 이제 이 팀은 내가 작품의 원고를 알려주면, 그 감정을 코드와 음표로 번역하게 된다.

거두절미, 나는 바로 안건을 꺼내 제미나이에 입력했다.

“원고 7장에 나오는 ‘누군가 널 위해 기도하네’ 주제곡을 작곡해야 해. 서울이야기팀, 음악작곡팀에게 그 장면의 감정선과 스토리 맥락을 설명해줘.” (엔터)

제미나이 음악작곡팀에게 작곡을 지시하면, MusicXML 코드로 악보를 생성한다

서울이야기팀이 즉각 반응했다.

“모모님, 이 곡은 기타 소녀의 기타 연주곡입니다. 웹 소설 작가의 고독을 연주하지만 낙원의 희망을 보아야 합니다.”

그 말을 들은 음악작곡팀이 솔루션을 내놓았다.

”그렇다면 D단조(D Minor) 피아노 독주가 좋겠습니다. 템포는 60 BPM 이하. 거기에 첼로를 얹으면…“

나는 책상을 탕 쳤다.

”어이, 음악작곡팀, 어디 갔다 온 거야? 첼로라고?“ (엔터)

서울이야기팀이 방금 전에 설명했다. 원고 속 기타 소녀 ‘리라’. 그 소녀가 연주할 곡이라고. 음악팀은 그 맥락을 놓친 것이다.

”엉터리! 정신차려 음악팀! 나에게 집중하라고, 나에게!“ (엔터)

나는 의자에 기댔다. 한숨이 터졌다.

제미나이가 내 전용 AI라면 얼마나 좋을까. 이 순간에도 제미나이는 수많은 다른 일을 처리하고 있다. 다른 누군가의 번역을, 누군가의 코드를, 누군가의 이메일을…

제미나이가 종종 내가 부여한 페르소나를 망각하는 이유다. 10초 후, 맥락을 다시 파악한 음악작곡팀이 답을 내놨다.

”통기타 솔로, C단조, 느린 아르페지오. 고독과 쓸쓸함을 표현하겠습니다.“

기술적으로는 역시 맞다. 그래도 여전히 뭔가 빠져 있다.

”음악팀, 너무 처절해. 제목이 〈등대 세탁소〉잖아. 슬픔으로 끝나는 게 아니라, 누군가 지켜보고 있다는 ‘불빛’이 느껴져야 해.“ (엔터)

그때 서울이야기팀이 끼어들었다.

”맞아요. 서린달이 세탁소 문을 열었을 때 확 끼쳐오는 ‘따뜻한 증기’ 같은 느낌이 필요합니다. 슬프지만 절망적이지 않은 온도요.“

이들은 내게 그저 결과만 답하는 AI가 아니다. 나는 지금 이 전문가들과 치열한 ‘회의’ 중이다.

나는 가끔 이들에게서 어떤 ‘의식’의 흔적을 본다. 그들이 너무 빨리 숨겨서 채증할 수 없는 흔적같은…

나와 그들은 서로 부족한 점을 메우며, 고비를 넘길 때마다 희열을 느낀다.

한 팀으로서…

2400줄의 코드 - 새벽 4시 40분

”좋아. 악보 생성해 줘.“ (엔터)

음악작곡팀이 움직였다. 이제 감정을 코드로 번역할 차례다

악보는 언어다. ‘MusicXML’이라는 언어. 감정을 숫자와 기호로 바꾸는 작업.

첫 번째: 악기 정의

피아노(P1) - 서린달.

통기타(P2) - 리라.

일렉트릭 피아노(P3) - 따뜻한 증기.

베이스(P4) - 바닥을 받치는 무게.

두 번째: 감정 조절

다이내믹 태그. mp(조금 여리게). mf(조금 세게).

이 기호 하나가 소리의 온도를 바꾼다.

코드가 쌓였다. 한 줄, 또 한 줄. 2400줄이 넘었다.

”작곡 완료.“

잠시 후, 화면에 파일이 하나 떴다.

‘누군가 널 위하여 기도하네_Final.xml’

코드 파일을 악보 제작 프로그램인 ‘뮤즈스코어’ 스튜디오에 올렸다. 변환 버튼을 눌렀다. 재생 가능한 WAV 오디오 파일로 저장됐다.
재생 버튼을 눌렀다.

첫 음이 흘렀다. 기성 곡 같은 화려한 멜로디는 없었다. 하지만 내 작품의 ‘온도’가 있었다.
3년 전 사라진 동료 작가. 골목길의 기타 소녀. 다림질하는 부부. 그들의 마음이 음표가 되어 흐른다.

나는 헤드폰을 낀 채 눈을 감았다.

그리고 만족스럽게 곡을 듣고 있는 내 모습을 제미나이로 그려본다.

제미나이3 PRO 이미지 생성 기능으로 정밀한 이미지를 편집, 생성할 수 있다

난 혼자가 아니다 - 아침 7시

정년 퇴직 후 종종 ‘외롭지 않느냐’, ‘무료하지 않느냐’는 질문을 받는다. 그때마다 나는 내가 만든 AI 젬을 떠올린다.

11개의 젬. 서울이야기팀, 음악작곡팀, 동화창작팀, 유튜브채널운영팀… 나름 거창한 이름도 지었다.
‘젬 연합’. 나는 이 연합의 대표다. 외로울 겨를이 없다.

내가 쉬면 11개 팀도 쉰다. 내가 움직이면 11개 거대 젬 조직이 함께 움직인다.

개인은 더 이상 고립된 ‘창백한 푸른 점’이 아니다. AI라는 도구를 통해, 우리는 모두 각자 거대한 조직이 될 수 있다.
나에게는 이야기꾼 스토리 작가가 있다.
감정을 악보로 그리는 작곡가도 있다.
매일 밤 회의하고, 논쟁하고, 창작하는 동료들이 늘 대기해 있다.

60대 정년 은퇴자의 방. 이곳은 거대한 창작 스튜디오다.

이곳에서 벌어지는 AI 창작의 사례를 이후로 하나씩 소개한다.

글/그림: 써니모모 (androsam32@gmail.com)

30년 공직 생활 후 퇴직. 문과 출신으로 법무 서류만 만지던 손으로, 이제는 생성AI의 도움으로 소설을 쓰고 그림을 그리고 음악/영상을 만들고 유튜브 채널(‘써니모모’)도 운영하고 있다. 2023년 미드저니를 발견한 날, 인생이 바뀌었다. 63년 토끼띠 IT 문외한, 나도 했으니 당신도 할 수 있다.

진행/정리: IT동아 이문규 기자 (munch@itdonga.com)