[문화 실험실]놀랍다, 로봇기자가 이런 표현까지 쓰다니…

프로야구 뉴스 생성 프로그램… ‘야알봇’이 쓴 기사 알아맞히기

《 인공지능(AI)이 변화시킬 미래는 목전에 와 있다.
로봇(컴퓨터 알고리즘) 저널리즘도 이미 일부 현실화된 분야다.
해외에서는 로봇이 쓴 기업 공시 분석 보고서나 지진 발생 속보를 실제 보도에 활용한다.프로야구 뉴스를 자동으로 생성하는 프로그램 ‘야알봇’을 만든 이준환 서울대 언론정보학과 교수 연구팀의 도움을 받아 로봇이 쓴 기사와 본보 기자가 쓴 기사를 보여주고, 기사 작성자를 구별할 수 있는지 구글 설문지를 이용해 실험했다. 》
　

크게보기

“9일 마산구장에서 열린 2016 타이어뱅크 KBO리그 경기에서 NC 다이노스가 한화 이글스를 상대로 10-1로 대승을 거뒀다. 3연승을 달린 NC는 4승 3패를 기록했다. ….”

“9일 마산구장에서 열린 NC와 한화와의 2016 타이어뱅크 KBO리그에서 NC가 손시헌을 시작으로 연이어 득점을 하면서 파죽의 대승을 거두었다. NC는 13안타, 2홈런을 날리며 거침없이 질주했다. ….”

두 짧은 기사(단신) 중 어떤 것이 사람이 쓴 것이고, 어떤 것이 로봇(야알봇)이 쓴 것일까?(답은 기사 마지막에)

12∼15일 진행된 퀴즈에 모두 273명이 응답했는데 정답률이 평균 45.9%로 절반도 안 됐다. 사실상 누가 썼는지 구별하지 못한다는 얘기다. 프로야구 팬이라고 답한 이들의 정답률(46.4%)도 별 차이 없었다. 야구경기 회별 주요 정보가 포함된 긴 기사(약 1000자 분량, 3문제)의 정답률(48.9%)이 단신(3문제)의 정답률(43.0%)보다 높았지만 역시 절반에 못 미쳤다. 정재민 KAIST 교수가 지난해 7, 8월 진행한 비슷한 실험에서도 정답률은 기자 52.3%, 일반인 46.1%에 그쳤다.

동아일보DB.

정답률이 이처럼 낮은 것은 로봇 기사가 통상의 야구 기사와 구별하기 어려울 정도로 다양한 표현을 사용하기 때문이다. 한 설문 응답자는 “‘굴욕을 당했다’ ‘꽁꽁 묶었다’처럼 가치를 부여하는 표현이 들어 있어 사람이 쓴 기사”라는 의견을 제시했지만 해당 기사는 모두 로봇 기사였다. 야알봇은 사람이 일반 기사에 사용한 여러 표현을 저장했다가 다양한 조건에 따라 문장을 생성해낸다.

야알봇은 경기 순간마다 양 팀의 승률을 계산하고, 승률이 급변하는 대목을 ‘주요 이벤트’로 분류해 기사를 쓴다.

야알봇의 또 다른 장점은 속도다. 경기 종료 뒤 기사 작성 버튼을 누르면 약 5장 분량의 기사를 생성하는 데 1초도 안 걸린다.

그러나 이번 설문조사에서 기사의 완성도는 아직 사람이 앞선다고 평가됐다. 긴 기사에 대해 ‘잘 읽히는지’ ‘정보가 많은지’ ‘전문적인지’로 나눠 1∼5점 척도로 평가하도록 했는데 사람이 쓴 기사의 평균 점수(3.62)가 로봇(3.42)보다 높았다. 인간 기사가 로봇 기사보다 더 쉽게 읽히고 전문적이라는 평가였다. 다만 정보량에 관한 점수는 로봇이 더 높았다.

이준환 교수는 “특정 팀 팬의 관점에서 쓰인 기사, 독자가 원하는 분량의 기사를 바로 작성하는 것 등을 연구 중”이라며 “알고리즘 저널리즘은 빅데이터를 바탕으로 새로운 정보 서비스를 만드는 것으로 기존 기자의 모든 업무를 대체할 순 없을 것”이라고 말했다.

※정답: 앞의 것이 사람이 쓴 기사. 뒤의 것은 야알봇이 자동으로 생성한 기사다.
　
조종엽 기자 jjj@donga.com
▶ 전체 퀴즈와 정답

인공지능 알파고가 이세돌 9단을 상대로 승리를 거뒀고, 미래에는 많은 직업을 인공지능이 대체할 수 있다는 전망도 나옵니다. 로봇(컴퓨터 알고리즘)이 작성한 기사도 이미 등장했습니다. 로봇이 쓴 기사와 사람이 쓴 기사를 구별할 수 있을까요?

동아일보는 로봇 저널리즘을 연구하고 있는 이준환 서울대 언론정보학과 교수 연구팀과 함께 12~15일 구글 설문지를 이용해 간단한 퀴즈와 설문을 진행했습니다. 다음은 퀴즈와 정답(→ 기사 작성 주체)입니다.

1. 다음 중 로봇이 쓴 기사는?

◇9일 마산구장에서 열린 2016 타이어뱅크 KBO리그 경기에서 NC 다이노스가 한화 이글스를 상대로 10-1로 대승을 거뒀다. 3연승을 달린 NC는 4승 3패를 기록했다. 반면 한화는 4연패의 늪에 빠지며 1승 6패가 됐다. NC 선발투수 이재학은 8이닝 동안 7피안타 2볼넷 7탈삼진 1실점 호투를 펼치며 승리를 거머쥐었다. 타선에서는 박석민이 4타수 3안타 1홈런 3차점, 나성범이 4타수 3안타 3득점으로 맹활약했다. → (사람)

◇9일 마산구장에서 열린 NC와 한화와의 2016 타이어뱅크 KBO리그에서 NC가 손시헌을 시작으로 연이어 득점을 하면서 파죽의 대승을 거두었다. NC는 13안타 2홈런을 날리며 거침없이 질주했다. NC는 0:1로 뒤쳐지던 2회 말, 손시헌이 홈런을 뽑아내 2점을 얻었다. 이후, 테임즈, 박석민이 활약해서 NC의 승리하는데 큰 힘을 발휘했다. 오늘 경기의 결과 NC는 이번 시리즈 한화와 경기에서 위닝시리즈를 따냈고 순위는 2위로 상승했다. → (로봇)

2. 다음 중 로봇이 쓴 기사는?

◇8일 수원구장에서 열린 kt와 KIA와의 2016 타이어뱅크 KBO리그에서 kt가 4:0으로 깔끔한 승리를 거뒀다. kt가 4점을 득점할 동안 KIA는 단 1점도 내지 못하는 굴욕을 당했다. kt는 8안타 기록을 냈다. 첫 득점은 4회 말 마르테의 타격에서 터졌다. 이후, kt는 추가 득점을 하면서 팀 승리를 이끌어냈다. 오늘 경기의 결과 kt는 이번 시리즈 KIA와 경기에서 위닝시리즈를 가져갔고 순위는 4위로 상승했다. → (로봇)

◇kt 위즈가 8일 수원 kt위즈파크에서 열린 2016 타이어뱅크 KBO리그 KIA 타이거즈와의 안방 경기에서 4-0으로 이겼다. 2연패를 탈출한 kt는 4승 3패를 기록했고, 2연패를 당한 KIA는 2승 3패가 됐다. kt 선발투수 마리몬은 7이닝 3피안타 3볼넷 5탈삼진 무실점의 호투로 개막전에 이어 2경기 째 승리를 거뒀다. 반면 KIA의 에이스 양현종은 7이닝 8피안타 2탈삼진 4실점(2자책점)으로 시즌 첫 패를 안았다. → (사람)

3. 다음 중 로봇이 쓴 기사는?

◇10일 마산구장에서 열린 한화와 NC와의 2016 타이어뱅크 KBO리그에서 한화가 NC와의 팽팽한 경기 끝에 2:1로 승리했다. 양 팀 투수들의 활약이 돋보이는 경기였다. 투수진이 NC를 1점으로 꽁꽁 묶으며 오늘 경기의 승자가 되었다. 오늘 경기에서 한화는 이번 시리즈 NC를 상대로 루징시리즈을 기록했고 시즌 순위는 현재 10위, 승률 0.25 리그 최하위이다. 한편 NC는 3연승에서 멈췄고 순위는 6위로 하락했으며 2안타 3볼넷 1타점 1득점으로 다소 아쉬운 플레이를 보여줬다. → (로봇)

◇한화 이글스가 10일 마산구장에서 열린 2015 타이어뱅크 KBO리그 NC 다이노스와의 방문 경기에서 2-1로 이겼다. 한화 선발투수 마에스트리는 6이닝 2피안타 3볼넷 5탈삼진 1실점으로 팀의 승리를 이끌었다. 마에스트리는 한화 선발진 가운데 첫 선발승을 거뒀다. 마에스트리의 호투 속에 한화는 1회 초 선두 타자 정근우가 김태균의 적시타로 홈을 밟았고, 1-1로 맞선 5회 초 로사리오의 2루타로 득점했다. 4연패에서 탈출한 한화(2승 6패)는 시즌 두 번째 승리를 거뒀다. → (사람)

4. 이 기사는 누가 썼을까요?

◇프로야구 최하위 한화가 4연패에서 탈출했다. 한화는 10일 마산구장에서 안방 팀 NC에 2-1 신승을 거뒀다. 한화는 안타 6개, 볼넷 5개를 얻어내고도 2득점에 그쳤지만 상대 타선을 단 2안타(4볼넷)으로 막은 덕에 승리할 수 있었다.

1회초 한화는 선두타자 정근우(34)가 중전 안타를 치고 나가면서 득점 기회를 잡았다. 2번 타자 장민석(34)이 희생번트를 성공시키면서 1사 2루. 3번 타자 이성열(32)이 2루수 앞 땅볼로 물러나는 사이 정근우가 3루를 밟았다. 4번 타자 최진행(31)이 볼넷을 얻어내 2사 1, 3루가 된 상태에서 5번 김태균(34)이 타석에 들어서 좌중간 적시타를 때려내며 정근우를 불러 들였다.

3회말 NC는 동점을 만들었다. 2아웃 상황에서 땅볼을 때린 2번 타자 이종욱(36)이 투수 실책을 틈타 2루에 안착했다. 이어 나성범(27)이 볼넷을 골라내 2사 1, 2루가 됐고 테임즈(30)가 중견수 앞 적시타로 이종욱을 불러 들였다. 다음 타자 박석민(31)이 삼진으로 물러나면서 NC는 경기를 뒤집는 데는 실패했다.

5회초 한화가 결승점을 뽑았다. 선두 타자 장민석이 우전 안타로 출루에 성공한 뒤 다음 타자 이성열 타석 때 상대 투수 폭투를 틈타 2루에 도달했다. 그 뒤 삼진과 볼넷, 2루수 앞 땅볼이 나오면서 2사 1, 3루가 됐다. 이때 타석에 들어선 외국인 타자 로사리오(27)가 2루타를 치면서 장민석을 불러들여 결승 타점을 올렸다.

7회말 NC는 2사 2, 3루 찬스를 잡았지만 박민우(23)가 1루수 앞 땅볼로 물러나며 경기를 원점으로 돌리는 데 실패했다.

8회와 9회에는 NC는 타선이 한화 필승조 권혁(33)과 정우람(31)에 막혀 삼자 범퇴로 물러나면서 끝내 경기를 내주고 말았다.

이날 한화 선발로 나선 외국인 투수 마에스트리(31)는 올 시즌 한화 선수로는 처음으로 선발승을 기록했다. 마에스트리는 6이닝을 던지면서 안타 2개, 볼넷 3개를 묶어 1실점으로 NC 타선을 막아냈다. 자유계약선수(FA) 자격으로 한화 유니폼을 입은 정우람은 이적 후 첫번째 세이브를 기록했다. → (사람)

5. 이 기사는 누가 썼을까요?

◇10일 마산구장에서 열린 한화와 NC와의 2016 타이어뱅크 KBO리그에서 한화가 투수전 끝에 2:1로 승리했다. 한화는 NC의 투수진에 막혀 2득점에 그쳤으나, NC 역시 1득점에 그치는 바람에 승리를 가져갈 수 있었다.

1회 초 한화는 1사 2루 상황에서 최진행의 볼넷으로 2사 1, 3루상황을 만들고 김태균의 1타점 적시타로 1점 앞서나가기 시작했다. 1회 말 NC는 2사 1, 2루 상황에서 박석민의 삼진으로 공수교대가 이루어지며 차이를 좁히지 못했다. 2회 초 한화는 2사 2루 상황에서 정근우의 2루수 땅볼로 공격기회를 소진해 추가득점에 실패했다.

3회 말 NC는 2사 2루 상황에서 나성범의 볼넷으로 2사 1, 2루상황을 만들고 테임즈의 1타점 적시타로 경기를 원점으로 돌려세웠다. 4회 초 한화는 무사 1, 2루 상황에서 신성현의 희생번트와 강경학이 땅볼로 출루 후 진루하던 김태균이 홈승부 실패로 아웃되어, 이닝이 종료되며 주자를 불러들이는 데에는 실패했고, 조인성의 데드볼로 2사 만루상황을 만들었으나 이후 정근우의 낫아웃 상황에서 진루하던 로사리오가 홈승부 실패로 아웃되어 이닝이 종료되며 주자를 불러들이는 데에는 실패했다.

그 후 5회 초에는 무사 2루 상황에서 최진행의 볼넷으로 1사 1, 2루상황을 만들고 로사리오의 1타점 2루타로 선취 1득점했다. 또 6회 초에는 1사 2루 득점찬스를 맞이하였으나 2루 주자 강경학이 야수선택 상황에서 아웃되어, 이닝이 종료되며 차이를 벌리지 못했다.

7회 말 NC는 1사 2루 상황에서 지석훈의 데드볼로 1사 1, 2루상황을 만들었으나 이후 김태군의 중견수 플라이로 공격기회를 소진해 차이를 좁히지 못했고, 보크로 2사 2, 3루상황을 만들었으나 이후 박민우의 1루수 땅볼로 득점에 실패하며 패배를 뒤집지 못했다.

마침내 한화는 NC를 간발의 차이로 이겼다. 오늘 경기의 결과 한화는 이번 시리즈 NC를 상대로 루징시리즈을 기록했고 시즌 순위는 현재 10위, 승률 0.25 리그 최하위이다. 한편 NC는 3연승을 이어가지 못했고 순위는 6위로 하락했으며 2안타 3볼넷 1타점 1득점으로 부진한 성적을 냈다. → (로봇)

6. 이 기사는 누가 썼을까요?

◇5시간 가까이 연장 혈투가 이어졌지만 끝내 어느 팀도 웃지 못했다. 9일 잠실구장에서 열린 2016 타이어뱅크 KBO리그 넥센과 두산의 경기는 연장 12회 끝에 9-9로 승부를 가리지 못했다. 올 시즌 첫 무승부다.

초반 흐름은 넥센의 편이었다. 1회초 외국인 타자 대니돈의 적시 2루타로 선취점을 앞서 나간 넥센은 4회초 서건창의 3타점 적시 3루타 등에 힘입어 6득점하며 크게 달아났다. 2일 삼성과의 경기에서 5와 3분의 1이닝 5실점으로 이름값에 못 미쳤던 두산 선발 유희관은 이날도 넥센 타자들의 방망이를 견디지 못하고 3과 3분의 1이닝 7실점으로 마운드에서 내려왔다.

그러나 두산은 이내 5회말 홈런 두 방으로 추격을 시작했다. 선두타자 양의지의 120m 거리 1점 홈런으로 불씨를 지핀 데 이어 정수빈이 우측 담장을 살짝 넘기는 3점 홈런(거리 105m)을 치면서 넥센을 압박했다.

승부처는 8회말. 1사 2,3루 실점 위기 상황에서 넥센은 투수 김상수를 교체 투입, 박건우를 삼진 처리하며 아웃카운트를 늘렸지만 끝내 불을 끄진 못했다. 김재호에게 초구 적시타를 허용하며 끝내 경기는 원점으로 돌아갔다. 넥센의 선발 박주현의 프로 첫 승도 다음을 기약하게 됐다.

두산도 7점 차를 따라잡긴 했지만 거기까지였다. 이어진 연장에서는 양 팀 모두 득점에 성공하지 못하며 그대로 경기는 마무리됐다. 총 경기 시간은 4시간 43분. 두산은 상대 보다 2명 많은 투수 7명을 투입하며 10일 경기에서도 부담이 커졌다.

아이러니하게도 두 팀 모두 승리를 챙기진 못했지만 순위는 올라갔다. 두산과 공동 선두였던 삼성, 3위 LG가 이날 모두 패하면서 두산은 단독 선두가 됐고 넥센 역시 4위에서 공동 2위로 순위 상승을 했다. → (사람)

조종엽 기자 jjj@donga.com