전문가 절반 “챗GPT가 첨삭한 자소서, 유료 업체보다 낫다”

[위클리 리포트]챗GPT에 자기소개서 첨삭 맡겨 ‘블라인드 평가’ 해보니…

“이게 정말 챗GPT가 첨삭한 자기소개서라고요? 생각했던 것보다 수준이 높네요.”

잡플래닛 헤드헌터 정구철 씨는 14일 “챗GPT 첨삭이 웬만한 유료 업체보다 내용 측면에서 더 충실한 것 같다”며 놀란 표정을 지었다.

최근 상반기(1∼6월) 대기업 공채 시즌을 맞아 대화형 인공지능(AI) 서비스 프로그램 ‘챗GPT’를 자기소개서 작성 등에 활용하는 취업준비생이 적지 않다.

동아일보는 챗GPT의 자기소개서 첨삭 능력을 평가하기 위해 인사 분야 전문가 4명에게 ‘블라인드 평가’를 의뢰했다. 평가를 위해 동아일보 기자가 대학 졸업생이라고 가정하고 의도적으로 어색하게 쓴 1000자 분량의 자기소개서를 유료 첨삭 업체와 챗GPT에 각각 첨삭 받았다. 이후 누가 첨삭한 것인지 공개하지 않은 채 전문가 4명의 평가를 받았다. 유료 첨삭 업체는 취업준비생들이 가장 많이 찾는 대표적인 업체 중에서 골랐다.

● 전문가 4명 중 2명 “챗GPT가 유료 업체보다 낫다”

블라인드 평가 결과 전문가 2명은 “챗GPT의 첨삭이 더 낫다”고 평가했다. 1명은 유료 첨삭 업체가 더 낫다고 했고 나머지 1명은 “우열을 가리기 어렵다”고 밝혔다.

정 씨는 “유료 업체가 첨삭한 자기소개서는 단순 나열식으로 내용을 전개했는데 챗GPT가 첨삭한 자기소개서는 논리적으로 일목요연하게 내용을 잘 정리했다”며 “유료 업체가 5점 만점에 2.5점이라면 챗GPT 첨삭본은 4점”이라고 했다.

대기업 채용담당자 출신으로 현재 유튜브 채널 ‘입시취업연구소’를 운영하는 조민혁 씨는 “챗GPT가 뛰어나게 첨삭을 잘한 건 아니다”면서도 “어색한 표현이 적고, 들어가야 할 내용을 잘 선택했다는 점에서 유료 업체보다 챗GPT 첨삭 내용이 좋았다”고 평가했다.

챗GPT와 유료 업체의 첨삭 수준이 비슷하다고 답한 유튜브 채널 '하유의 취업뚝딱'을 운영하는 하유진 씨는 “두 버전 모두 자기 어필에 서투른 취업준비생이 쓴 느낌”이라고 했다. 취업 관련 유튜브 채널 ‘캐치’의 크리에이터 철수 씨는 “유료 업체 첨삭본이 두괄식으로 구성돼 읽기 편하고 내용도 더 논리적이었다”고 말했다.

● 챗GPT, 8분 만에 첨삭 완료

크게보기

기자가 체험해 보니 챗GPT를 통해 자기소개서 첨삭을 받는 과정은 간단했다. 구체적인 질문을 몇 차례 반복 입력하며 요청하자 챗GPT가 원본보다 풍성한 내용을 담은 자기소개서를 금세 만들어줬다.

먼저 전문가 블라인드 평가를 위해 A사 공채에 지원한다고 가정하고 기자가 자기소개서 일부 문항에 대한 답을 일부러 부실하게 작성했다. 이어 작성 내용을 입력하고 챗GPT에 “지원 동기 문항에 대한 부분을 첨삭해 달라”고 부탁하자 커서를 깜빡이던 챗GPT는 몇 초 지나지 않아 답을 내놨다.

“의사소통 능력에 대한 자랑이 많은데, A사에서 의사소통 능력이 중요한 이유에 대해 언급해 주는 게 좋겠습니다.” 조언에 그치지 않고 “A사에서 고객과 의사소통을 원활하게 하는 역할을 하겠다”는 문장을 스스로 추가했다.

작성자가 원하는 방향이 있다면 요구해 보완할 수도 있다. 챗GPT에 ‘초등학교 시절 반장과 부반장을 지내며 리더십을 배웠다’라고 입력한 뒤 “리더십을 발휘한 구체적인 경험을 넣어달라”고 했다. 챗GPT는 “학교에서 진행한 체육대회에서 리더십을 발휘한 경험이 기억에 남는다. 반을 대표하는 체조대회를 준비해야 했는데 당시 반장으로서 반의 대표자를 선발하고, 다른 학생들의 열정을 북돋아 주는 역할을 했다”며 실제로는 있지도 않았던 경험을 그럴듯하게 서술했다. 시간은 30초도 걸리지 않았다.

글의 방향을 여러 차례 바꾸며 구체적으로 요청을 이어가자 기자가 봐도 나쁘지 않은 자기소개서가 완성됐다. 챗GPT가 4차례 수정 요청을 반영해 1000자 분량의 자기소개서를 만들어내는 데 걸린 시간은 8분에 불과했다.

● 챗GPT 첨삭 능력 평가는 엇갈려

크게보기

전문가들은 챗GPT가 표현을 다듬는 데 그치지 않고 필요한 내용까지 넣어 준다는 점을 높이 평가하면서 “과거 사람만 할 수 있다고 여겼던 일을 AI가 대체할 수 있다는 가능성을 봤다”고 입을 모았다.

정 씨는 챗GPT가 첨삭 과정에서 원문에 없던 문장을 새로 추가한 것에 주목했다. 그는 “유료 업체가 첨삭한 자기소개서에는 의사소통 능력이 뛰어나다는 자랑만 있고 그 역량이 기업에 어떻게 도움이 되는지에 대한 언급이 없어 아쉬웠다”며 “그에 비해 챗GPT는 부족하다고 생각했던 바로 그 부분을 보완한 거라 놀라웠다”고 말했다.

조 씨도 “자기소개서 초안에 댄스 동아리 경험이 포함돼 있었는데 이런 단편적 경험은 깊은 인상을 주기 어려워 차라리 안 쓰는 게 낫다”며 “이 부분을 챗GPT가 삭제한 것은 올바른 판단이었다”고 했다.

다만 챗GPT의 첨삭이 전문가 수준을 따라오려면 여전히 멀었다는 의견도 나왔다. 하 씨는 “챗GPT는 어떻게 해야 지원자만의 강점을 부각할 수 있을지 판단하는 것에 특히 미숙한 면모를 보였다”고 했다. 철수 씨도 “챗GPT가 쓴 문장 중 ‘제품과 시장 동향에 대해 공부했다’는 부분은 구체적으로 뭘 공부했는지 설명하지 않아 자기소개서 내용으로는 부족하다”며 “챗GPT에 첨삭을 100% 의존하기에는 부족한 수준”이라고 평가했다.

다만 챗GPT의 첨삭 능력을 높게 평가하지 않은 전문가들도 챗GPT를 활용하면 자기소개서를 더 손쉽게 쓸 수 있다는 점에는 동의했다. 철수 씨는 “A사의 역사, 강점, 시장 현황 등의 정보를 얻기에는 유용한 도구”라고 했다. 하 씨도 “직접 챗GPT로 실험해보니 글자 수를 늘려 달라는 정도의 요구는 쉽고 간편하게 반영됐다”고 말했다.

● 취준생 “무료인 데다 결과도 만족스러워”

챗GPT를 활용해 자기소개서를 첨삭 받은 취업준비생들은 대체로 결과에 만족하는 모습이었다. 취업준비생 손모 씨(26)는 “그동안 자기소개서 하나 쓰는 데 짧게는 5일에서 길게는 일주일 넘게 걸렸는데 챗GPT를 활용하니 하루도 안 돼 수준 높은 자기소개서를 완성할 수 있었다”고 했다.

가장 큰 장점은 사용료가 무료라는 것이다. 유료 업체의 첨삭 비용은 많게는 건당 수십만 원에 달한다. 블라인드 테스트를 위해 첨삭을 맡긴 업체도 3문항 1000자 분량에 약 8만 원을 요구했다.

지난해 자기소개서 1개당 20만 원을 주고 유료 첨삭을 받았다는 취업준비생 김은영 씨(24)는 “비용 부담 때문에 올해부터 챗GPT를 이용하기로 했다”며 “학원비, 각종 자격증 시험비 등 안 그래도 돈 들어가는 곳이 많은데 첨삭 비용이라도 줄일 수 있어서 다행”이라고 했다.

외국계 회사 취업을 준비 중인 한모 씨(26)도 “업체에 맡기면 A4용지 1장당 첨삭 비용이 10만 원이라 공채 시즌마다 수십만 원을 내야 했다”며 “챗GPT에는 수십 장도 부담 없이 맡길 수 있어 한시름 덜었다”고 말했다.

실제로 챗GPT를 활용해 쓴 자기소개서를 제출해 최종 합격한 사례도 속출하고 있다. 이모 씨(27)는 챗GPT를 활용해 쓴 자기소개서를 제출해 지난달 24일 경기 수원시의 한 중소기업 회계 직군에 합격했다. 이 씨는 “첫 출근 후 부장님과 만난 자리에서 ‘자기소개서가 인상적이어서 뽑았다’는 말을 들었다”고 했다.

전문가들은 전적으로 챗GPT에 의존하기보다 보조 수단으로 활용하는 게 좋다고 조언했다. 아직 개발 단계인 챗GPT가 오답을 내놓을 때도 많기 때문이다. 영어를 기반으로 개발된 챗GPT의 한국어 능력이 아직 완전치 않다 보니 기자의 눈에도 어색한 표현이 여럿 발견되기도 했다. 하 씨는 “챗GPT의 답변이 번역체 문장인 경우가 많다 보니 어색하지 않은지 살피면서 자연스럽게 바꾸는 게 좋다”고 조언했다.


김보라 기자 purple@donga.com
최미송 기자 cms@donga.com