AI와 번역 대결, 인간 실수로 승리? ‘200자씩 끊어 원문 입력’ 룰 안지켰다

  • 동아일보
  • 입력 2017년 2월 24일 03시 00분


코멘트

네이버 번역기 200자 넘겨 입력땐 인공지능 아닌 기존 번역기 작동
동아일보 기자가 200자 나눠 넣으니 대결 당시보다 번역 매끄러워져
주최측, 문자수-단어수 헷갈린듯

21일 치러진 ‘인간 대 인공지능(AI) 번역 대결’에 주최 측의 중대한 실수가 있었던 것으로 23일 확인됐다. ‘인간의 승리’라는 판정 결과를 바꿀 정도는 아니지만 주최 측의 실수로 인공지능의 번역 수준이 실제보다 크게 과소평가됐다.

네이버는 서울 세종대 광개토관에서 열린 ‘인간 대 AI 번역 대결’에서 주최 측이 AI 번역 서비스 ‘파파고’에 원문을 200자씩 끊어 넣지 않았다고 23일 주장했다.


파파고는 현재 테스트 중인 베타버전으로 200자까지만 AI를 활용한 인공신경망 기술(NMT·Neural Machine Translation)을 통해 번역할 수 있는데 이런 사용법을 어겼다는 것이다. 파파고는 200자가 넘는 텍스트는 기존 통계 기반 방식으로 번역한다. 이 방식은 단순한 매뉴얼조차도 30∼40%밖에 번역하지 못하는 수준이다.

23일 기자가 대결에 사용된 영문(비문학 2개, 문학 2개 지문)을 제대로 입력했더니 번역 품질이 크게 향상됐다. 21일 지문으로 출제된 영문 수필의 한 대목(A pivotal junction in the history of technology and the world)을 인간 번역가는 ‘기술 발전의 역사와, 또한 세계 역사의 한 획을 긋는 순간’이라고 풀이한 반면 당시 파파고는 이를 어색하게 풀이(technology―과 세계의 역사에 있어 온 중추적인 접합)했다.

하지만 200자 이내로 끊어서 입력했더니 파파고는 ‘기술 혁신과 세계의 역사에 있어서 중대한 시발점’으로 매끄럽게 번역했다.

행사 당일 주최 측은 200자 이하로 나눠서 입력하겠다고 밝혔지만 실수를 한 것으로 확인됐다. 당일 한국통역번역학회는 국문 지문의 문자 수를 각각 157자와 142자라고 밝혔는데 이는 문자 수가 아니라 단어 수였다.

실수는 또 있었다. 주최 측은 영문을 입력하는 과정에서 최대한 문단 단위로 잘라서 입력했다고 설명했다. 그러나 한 문단도 200자만 넘기면 통계 기반 번역으로 전환된다는 사실을 놓친 것이다. 주최 측은 번역 문제가 현장에서 출제되면서 글자 수를 미리 고려하지 못했다고 설명했다.

파파고가 제대로 작동하지 않았지만 ‘인간의 승리’라는 최종 결과는 바뀌지 않았다. 그날 인간은 60점 만점에 49점을 받았고, 구글 번역기는 28점, 네이버 파파고는 17점, 시스트란은 15점을 받았다. 네이버 파파고가 더 나은 점수를 받을 수는 있었겠지만 인간의 점수를 뛰어넘는 수준은 아니라는 것이다.

AI 전문 업체인 솔트룩스의 신석환 부사장은 “이번 인간과 AI의 번역 대결이 주는 의의는 인간이 기계와 싸울 것이 아니라 기계를 효율적으로 활용한다면 탁월한 결과물을 얻을 수 있다는 것을 보여준 데 있다”고 말했다.

임현석 기자 lhs@donga.com
#번역#ai#200자#네이버 번역기#인공지능#인간 실수#과소평가
  • 좋아요
    0
  • 슬퍼요
    0
  • 화나요
    0
  • 추천해요

댓글 0

지금 뜨는 뉴스