[교육]수능배치표의 진실게임

사설 입시전문기관이 만든 배치표를 보고 지원 가능한 대학 학과를 살펴보고 있는 수험생들./동아일보 자료사진

‘수능 평균 10∼20점 오를 듯.’

‘서울대 인문계 상위권 학과는 361∼372점은 돼야.’

‘재수생 초강세.’

‘서울대 의예과 380점, 법대 375점….’

입시철을 맞아 사설 입시전문기관들이 연일 대학수학능력시험 분석 결과를 발표하고 있다. 실제 점수 발표 예정일은 12월 2일.

그러나 입시 전문기관들은 수능일인 6일 시험이 끝나자마자 난이도를 예측해 내놓았다. 이틀 후인 8일 오전에는 표본채점(가채점·假採點) 결과를 발표했고 이날 오후부터 점수대별 지원 가능한 대학 학과를 가로 95㎝, 세로 65㎝ 크기의 일명 ‘배치표’로 만들어 일선 학교에 뿌렸다. 배치표는 점수에 따라 대학을 ‘서열화’하는 것이 쉬웠던 학력고사 세대에 만들어진 관행이다. 하지만 전형 요소가 다양해진 수능세대에도 배치표는 학과 선택시 필수 참고자료로 여전히 위력을 발휘하고 있다.

사설 입시기관이 수능 당일 내놓은 ‘작년보다 쉬웠다’는 난이도 예측은 빗나갔다. 이에 따라 배치표의 신뢰도에 대해서도 새삼 의문이 제기되고 있다.

배치표의 수치들은 어떤 근거로 나오는 것이며 믿을만한가. 왜 난이도 예측은 빗나갔을까. 입시전문기관들로 불리는 중앙교육, 대성학원, 고려학원, 김영일교육컨설팅 4곳의 분석 방법을 자세히 들여다 보았다.

●배치표에 숨겨진 비밀

배치표는 수험생을 합격할만한 대학 학과에 ‘배치(placement)’하기 위한 자료라는 뜻에서 유래한 말이다. 입시 기관들은 합격에 필요한 수능 점수를 제시하는데 대개 커트라인보다는 모집정원이 100명이라면 80∼90등으로 합격할 수 있는 점수를 표시한다.

배치표 작성 작업은 2단계로 나뉜다. 먼저 각 대학 학과를 수능 합격선에 따라 일렬로 세우는 ‘키재기’를 한다. 그 후 해당 학과에 예상 합격선을 써넣는 ‘점수 얹기’를 한다.

키재기에 필요한 첫 번째 자료가 각 대학이 입시기관에 제공하는 전년도 정시전형 최종 합격자들의 수능 평균점수와 편차다. 입시 기관은 평균과 편차로 커트라인을 추산한다.

대학에서 제공하는 수치를 100% 믿기는 힘들다. 대개의 대학은 배치표에서 높은 서열을 차지하기 위해 평균 점수를 부풀리고 싶어한다. 점수를 조작하지 않더라도 평균 점수를 깎아먹는 추가 합격자를 제외하고 계산하는 식으로 점수를 높이는 방법은 얼마든지 있다. 경쟁률을 높이기 위해 점수를 낮춰 부르는 대학도 있다. 입시기관들이 점수 공개를 재촉할 때 몇몇 대학들은 이렇게 대꾸한다. “아직 결정을 못했습니다.”

입시기관들은 대학이 제공하는 자료를 검증하기 위해 두 번째로 일선 고교로부터 전년도 학생들의 수능 점수와 지원 대학 학과, 그리고 합격 여부 등의 자료를 받는다. 예를 들어 A대학 B학과가 내놓은 수능 평균과 편차로 추산한 그 학과의 커트라인이 330점인데 C고교 D군이 300점을 맞고도 그 학과에 합격했다면 대학이 점수를 올렸을 가능성이 있다.

키재기에 필요한 세 번째 자료가 지난 3∼10년치 대학 학과 분석 자료다. 몇몇 대학의 학과는 커트라인이 상승 곡선을 그리는가 하면 일부 대학은 하향세를 보인다. 취업률이 높은 학과는 서열이 올라간다. 같은 대학 같은 학과라도 분할모집의 경우 ‘가’군이냐 ‘나’군이냐에 따라 서열이 달라진다. 지방의 수재들이 서울 소재 대학을 원하는지, 지방의 국립대로 갈 것인지도 주요 변수다. 입시기관들은 이같은 수험생들의 취향을 배치표에 반영하기 위해 일선 고교의 유명 진학부장들을 불러 모아 협의회를 한다.

키재기가 마무리되면 수능 가채점 결과를 토대로 전년도의 수능 점수가 올해는 얼마에 해당하는지를 감안해 점수 얹기를 한다. 수능일 2,3일 후에는 배치표가 나온다. 수능 성적이 발표되면 실제 성적을 가지고 배치표 최종판을 다시 만든다.

배치표는 10년 넘게 ‘입시 시장’에서 가장 널리 사용돼온 ‘대학 평가’ 자료다. 올해 배치표가 공개되자 동국대 서강대 성균관대 등의 학교 홈페이지에는 “학교가 저평가 됐다. 입학관리팀은 뭘 했느냐” “현실을 받아들이고 학교 발전 전략을 짜야 한다” 등 배치표를 둘러싼 논란이 불붙었다. 모 대학의 부총장은 입시 기관을 방문해 항의하기도 했다. 중앙교육 이재우 평가실장은 “배치표의 정확도에 관계없이 수험생들이 배치표에 따라 지원을 하기 때문에 결과적으로 배치표에서 제시하는 대학의 서열화가 맞아 들어가는 모순이 반복되고 있다”고 말했다.

그러나 논술 심층면접 등 전형 요소가 다양해진 데다가 같은 수능점수도 대학마다 반영하는 영역이나 가중치가 다르기 때문에 수능 총점으로 대학을 서열화하기란 매우 힘들어졌다.

연세대 김용학 입학처장은 “면접이나 논술 성적으로 수험생 25%의 당락이 뒤바뀔 정도로 수능의 영향력은 많이 줄었다”며 “수능 점수만을 반영한 배치표도 이 점을 감안해 읽어야 할 것”이라고 조언했다.

●가채점은 어떻게?

배치표 만들기에 활용되는 가채점은 어떻게 할까. 입시 기관들은 전국에서 학교 단위로 수만명의 수험생들을 표집해 학생들이 직접 채점한 점수를 근거로 점수 분포를 추산해낸다. 입시 기관들은 가채점 결과의 신뢰도를 확보하기 위해 해마다 동일한 학교를 표본으로 선정한다.

대성학원의 예를 들어보자. 대성학원은 수능 다음날인 7일 미리 섭외해 놓은 전국의 170개 고교(8만1000여명)에서 재학생들이 영역별로 직접 채점한 점수를 OMR 카드로 받았다. 부산과 제주 지역 학교는 비행기로, 나머지 지방은 고속버스로 OMR 카드를 보냈다. 학원은 이날 오후 11시반부터 2시간 동안 컴퓨터로 OMR 카드를 판독한 뒤 분석에 들어가 8일 오전 4시경 영역별 평균성적과 수능 총점 분포를 추산해 냈다. 지난해의 수능 가채점 결과와 실제 성적간의 오차를 감안, 올해 분석에 반영한 뒤 학원은 8일 오전 각 언론사에 ‘가채점 분석 결과’를 보냈다.

그러나 가채점에는 오류 가능성이 있다. 우선 표본이 전체 수험생을 대표할 수 있도록 선정됐는가가 문제다. 또 학생들의 채점에 의존하는 것도 신뢰도를 낮추는 요인이 된다.

특히 재수생의 가채점 결과는 신뢰할만한 근거가 없다. 입시 전문학원에서 발표하는 재수생 가채점 결과는 학원과 연락이 닿은 몇몇 학생들이 밝힌 성적 결과에만 의존하는 것이다.

대성학원 이영덕 평가실장은 “입시학원과 연락이 닿은 재수생들은 성적이 상위권인 학생들이 대부분”이라며 “이를 근거로 재수만 하면 모두가 성적이 오를 것이라고 생각하면 오산”이라고 말했다.

한국교육과정평가원은 가채점의 필요성을 인정하고 올해부터 가채점 결과를 발표했다. 이는 표본 추출을 정교하게 한 데다가 실제 수능 성적으로 분석한 수치여서 사설 기관의 자료와 비교할 때 신뢰도가 훨씬 높다. 그러나 영역별 예상 평균점수만 발표하고 대학 지원에 필요한 점수 분포를 발표하지 않아 입시 기관들의 가채점에 의존해 원서를 쓰는 관행은 변하지 않을 것으로 보인다.

●번번이 빗나간 난이도 예측

입시 기관들은 수능 시험이 끝나자마자 난이도 예측 자료를 언론을 통해 발표한다. 시험을 치른 수험생들이 가장 궁금해하는 것이 ‘다른 학생들은 시험을 어떻게 보았는가’ ‘지난해에 비해 쉬운가 어려운가’ 하는 것이기 때문이다. 그러나 난이도 예측 자료의 수명은 가채점 결과가 나올 때까지의 며칠이다. 무엇보다도 배치표 작성에는 전혀 활용되지않는 수치일 뿐이다.

그럼에도 수능시험 직후 1차적인 궁금증이 난이도에 있기 때문에 입시 기관들은 수능일이 한달 앞으로 다가오면 난이도 분석팀을 꾸려 훈련을 거듭한다. 팀원은 수능 모의고사 문제를 출제한 경험이 있는 전문가들로 영역별로 5∼10명이다. 이들은 시험 당일 짧은 시간 안에 난이도를 분석할 수 있도록 수능 기출문제와 모의고사 문제를 분석하면서 난이도 맞추기 훈련을 한다.

실제 수능일에는 영역별로 시험이 끝난후 1시간안에 난이도를 분석해 언론사에 알린다. 매 시간 시험이 끝난 후 문제지가 공개되면 문제지를 사무실로 수송한 뒤 난이도 분석을 시작한다. 분석팀 전원이 문항별 난이도를 각각 평가한 뒤 합산하거나 수리영역의 경우 지수, 로그, 집합 등 분야별 전문가가 자기 분야 문항의 난이도를 평가한다. 난이도가 ‘상’‘중’‘하’별로 각각 몇 문항인지 분석해 이를 수치화해서 내놓으면 난이도분석팀의 임무는 끝이다.

여기에 더해지는 것이 체감 난이도. 시험 감독에 들어간 교사들은 시험이 끝난 후 학생들의 반응을 근거로 한 체감 난이도를 사전에 계약한 입시기관에 알려준다. 학생들이 시험이 끝날 때까지 문제지를 붙들고 있었다면 시험이 어려웠을 가능성이 높다. 일부 기관은 전년도 수능을 치른 대학생들을 섭외해 문제를 풀게한 후 그들의 체감난이도를 최종 난이도 예측에 반영하기도 한다.

이런 난이도 분석을 종합해 입시기관들은 수능시험이 끝나자마자 성적이 몇점 오를지 떨어질지를 예상해 발표한다.

올 수능의 난이도 예측에 실패한 원인으로 입시 기관들은 △사설 기관이 주관하는 모의고사가 금지됨에 따라 올 수험생들의 학력을 측정할 기회가 없었고 △수능 점수가 필요 없거나 영향이 적은 수시 모집으로 우수 수험생들이 빠져나간 점을 감안하지 않았기 때문이라고 설명했다.

그러나 솔직하게는 “난이도 예측은 맞기보다 틀리기가 쉽다”고 실토한다. 실제로 최근 5년간 수능시험의 난이도 예측은 제대로 맞은 적이 없다. 올해의 경우 성적이 내릴 것을 오른다고 방향까지 거꾸로 예측하는 바람에 그 실패가 두드러졌다.

진영기자 ecolee@donga.com