공정성-정확성-신뢰성 위해 여론조사 통계 ‘날것’으로 공개
① 모든 문항과 통계 동아닷컴에 공개
동아닷컴(www.donga.com)의 뉴스 ‘정치’ 분야에 들어가면 ‘여론조사’ 코너가 별도로 마련돼 있다. 이곳에서는 동아일보-채널A가 기획 보도한 모든 여론조사 기사뿐 아니라 여론조사 통계표를 ‘날것’으로 볼 수 있다.
통계표에는 각 설문 문항에 대한 △성별 △연령별 △지역별 △직업별 답변 비율이 일목요연하게 정리돼 있다. 동아일보-채널A는 올해 실시하는 모든 여론조사의 통계를 동아닷컴에 공개해 여론조사와 관련 보도의 공정성과 정확성을 독자와 전문가들로부터 직접 평가받을 계획이다.
② 지지도와 투표 여부 중심의 문항 설계
광고 로드중
묻는 순서도 매우 중요하다. 앞선 질문이 뒤따르는 질문에 대한 답변에 영향을 주기 때문이다. 묻는 순서를 통해 질문자가 특정 답변을 유도할 수도 있다는 뜻이다.
동아일보-채널A는 후보의 지지도를 가장 먼저 묻는다. 지지도에 영향을 줄 수 있는 문항은 뒤로 돌릴 계획이다. 또 후보의 출마가 확정되면 ‘누구를 지지하느냐’ 대신 ‘누구에게 투표할 것이냐’로 문항을 바꿀 예정이다.
③ 보기 순서 바꾸고 재질문 1회 한정
여론조사 업계에는 이런 얘기가 있다. 어린아이에게 ‘아빠가 좋아, 엄마가 좋아?’라고 물을 때와 ‘엄마가 좋아, 아빠가 좋아?’라고 물을 때 대답이 전혀 다르다는 것이다. 이를 ‘순서 효과’라고 한다.
동아일보-채널A 여론조사에서는 이런 순서 효과를 막기 위해 무작위로 보기를 섞어 제시하게 된다. 대선에서 A, B 두 후보의 양자대결 구도라면 조사 대상 1000명 중 절반에게는 A 후보를, 나머지 절반에게는 B 후보를 먼저 제시한 뒤 투표 의향을 묻는 식이다.
광고 로드중
④ 휴대·유선전화 임의번호 걸기 유지
2010년 6·2지방선거 당시 여론조사 예측은 실제 투표 결과와 큰 차이를 보였다. 여러 이유가 있지만 유선전화 등록 가구가 전체 가구의 40%밖에 안 되는데도 유선전화로만 여론조사가 이뤄졌기 때문이다. 이후 휴대전화 여론조사가 도입됐다. 집에 없거나 아예 유선전화가 없는 젊은 세대들의 민심을 충분히 반영하기 위해서다. 휴대전화와 유선전화의 조사 비율은 50 대 50으로 맞춰진다. 전화번호는 KT 전화번호부에서 선택하는 것이 아니라 임의로 거는 방식(RDD)이다. 리서치앤리서치(R&R)의 노규형 대표는 “집 전화 없이 휴대전화만 있는 유권자가 30%에 달해 휴대전화와 유선전화의 비율을 절반씩 반영하면 상당히 정확한 결과를 추출할 수 있다”고 말했다.
⑤ 인구 통계에 따른 샘플링
동아일보-채널A 여론조사에서는 성(性)과 연령, 지역의 표본을 지난해 12월 31일 현재 주민등록 인구 통계와 유사하게 맞춰 샘플링하게 된다. 성, 연령, 지역은 투표 결과에 직접적으로 영향을 미치는 3대 변수다. 이들 샘플을 전체 통계와 얼마나 유사하게 맞추느냐에 여론조사 결과의 정확성이 달려 있다.
여론조사 전문가인 여준상 동국대 경영학과 교수는 “여론조사에서 정확성과 공정성을 높이기 위해 가장 중요한 것이 과학적 표본 추출과 응답자의 바이어스(선입견)를 없애는 문항 설계”라며 “동아일보-채널A의 여론조사 약속은 그런 노력이 충분히 반영돼 있다”고 평가했다.
이재명 기자 egija@donga.com