[‘KCI지수’로 분석한 대한민국 학계 현주소]<上>겉핥기식 평가 틀이 바뀐다

“논문 量보다 質” 영향력 수치화… 교수 연구평가 거품 뺀다

A 교수는 최근 2년간 논문을 5편 썼다. B 교수는 같은 기간에 논문을 1편 냈다. 두 학자는 전공이 같은데 학계에서 A 교수는 연구가 왕성하다는 평가를, B 교수는 실적이 부진하다는 평가를 받았다. 논문을 몇 편 냈느냐를 기준으로 삼은 결과다.

앞으로는 상황이 달라진다. A 교수의 논문은 다른 학술지에서 전혀 인용되지 않았고 B 교수의 논문은 10차례 인용됐다. 한국연구재단이 개발한 한국학술지인용색인(KCI)의 논문인용지수(IF·Impact Factor)에 따르면 B 교수의 연구 수준이 더 높다는 평가를 받게 된다.

이 지수를 활용하면 학술지의 영향력은 물론이고 개별 논문의 학문적 가치, 특정 교수가 발표한 논문 건수와 개별 논문의 인용 횟수를 확인할 수 있다. 인용 횟수를 기준으로 최상위 논문부터 최하위 논문까지 한눈에 드러난다.

○ 수준 미달 논문 80%

재단이 2006∼2007년 발표된 논문을 분석해 18일 공개한 KCI 논문인용지수에 따르면 국내 학계에는 다른 연구자가 전혀 활용하지 않는 논문이 80%나 된다.

논문인용지수는 특정 논문과 이를 참고한 다른 논문을 비교하는 식으로 만들었다. 학술단체가 입력한 논문 정보를 데이터베이스(DB)로 만들고, 참고 문헌을 별도의 DB로 만들어 특정 논문의 인용 정도를 확인한 것. 그 결과 인문학 논문의 상당수는 국내 연구진이 인용하지 않는다는 사실이 수치로 드러났다. 논문 2만5037건 중 81%가 다른 연구에서 한 번도 인용되지 않았다. 단 한 번 인용된 논문 역시 3529건으로 14.1%에 그쳤다.

인문학 분야에서는 가장 많이 인용된 논문이 2편이었다. 정재영 한국기술교육대 교수의 ‘한국의 구결(口訣)’, 백광호 전주대 교수의 ‘한문과 교육과정의 읽기 영역에 관한 고등학교 교실 수업 분석’ 등 2편이 8회 인용됐다.

인문학 학술지를 주제별로 살펴보면 ‘유교학’ ‘한국어와 문학’ ‘통역번역학’의 인용지수가 0.3으로 가장 높은 편이었다. 논문 10편의 인용 횟수가 평균 3회 정도라는 뜻이다. ‘문학’ ‘불교학’ ‘가톨릭신학’의 인용지수는 0이었다.

사회과학 분야에서는 단 한 번도 인용되지 않은 논문이 73%나 됐다. 한건수 강원대 교수의 논문(농촌 지역 결혼 이민자 여성의 가족생활과 갈등 및 적응)이 26번으로 가장 많이 인용됐다.

관광 신문방송 사회복지의 연구 활동이 사회과학 분야에서는 활발한 편이었다. 2년간 출판된 논문이 1300편 정도였고, 인용지수도 0.9 이상이었다. 사회과학 학술지 전체의 평균 인용지수(0.45)를 훌쩍 웃돈다.

○ 세계 학술지와 최대 20배 격차

국내에서 가장 활발한 연구 실적을 보인 학술지도 세계 학술지와 비교하면 수준 차이가 크다. 논문 발표량도 비교가 안 되지만 인용지수는 최대 20배까지 차이가 난다.

예를 들어 국내 심리과학 분야 인용지수는 0.19. 학술지도 1종뿐이다. 반면 톰슨로이터사(社)의 데이터베이스(JCR)에 등록된 다문학적 심리학 분야 학술지는 112종이고 평균 인용지수는 1.93이다. 인용지수가 높은 학술지 ‘연간심리학평론’의 인용지수는 22.75에 이른다.

규모 면에서도 격차가 크다. KCI에 등록된 사회 분야 학술지는 22개 주제에 472종. JCR에 등록된 사회 분야 학술지는 42개 주제에 2442종으로 5배 정도 많다.

학술지의 양보다 주목되는 부분은 학술지의 질을 나타내는 인용지수다. JCR에 등록된 경제학 학술지의 평균 인용지수는 1.15인 반면 국내 경제학 분야 학술지는 0.37에 불과하다. 경영학도 세계 학술지의 평균 인용지수는 1.65, 국내는 0.49에 그쳤다.

○ 질적 수준 높이는 경쟁 시작

인문·사회 분야의 한 교수는 공동저자 끼워 넣기, 논문 쪼개기 등의 관행으로 논문들이 질보다 양적으로만 팽창해 왔다고 지적했다.

이제는 국내에서도 학술지와 논문의 질적 수준이 공개됨에 따라 학계 토양이 바뀌게 됐다. 대학에서 교수 임용이나 승진 심사를 할 때 논문 실적을 반영하는 방식에도 변화가 있을 것이란 전망이 나온다. 논문 인용 횟수에 따른 점수화가 가능해졌기 때문이다.

인용 횟수가 높은 논문은 공통점이 있다. 총 13번이나 인용된 논문(축제체험의 개념적 구성모형)을 쓴 이훈 한양대 교수는 “기존 논문과 달리 축제와 관광에서 체험이 갖는 본질적 의미를 분석했다. 1년에 20번 이상의 전국 축제를 찾아다니며 쓴 논문”이라고 소개했다.

인문학에서 최다 인용 횟수 8회를 기록한 논문을 쓴 백광호 전주대 교수도 “한문 수업을 실제로 참관하면서 새로운 분석 틀을 제시했다. 보통 지도안이나 교과서를 분석하는 기존 논문과 차별화하다 보니 다른 학자들도 관심을 보인 듯하다”고 설명했다. 연구자의 노력에 따라 논문 성과가 달라진다는 얘기다.

한국경영정보학회 회장을 맡고 있는 오재인 단국대 교수는 “앞으로는 허술한 학술지는 살아남기 어렵고, 인용도 높은 논문을 내기 위한 경쟁을 하게 돼 전반적 연구 수준이 높아질 것”이라고 전망했다.

강혜승 기자 fineday@donga.com　　
남윤서 기자 baron@donga.com　　
■ ‘KCI’ 개발 배영찬 한국연구재단 본부장 “질적 수준 객관적 평가…”
허술한 학회 자동 퇴출… 담합-표절까지 캐낼것

“이제는 국내 학술지도 질적 수준을 관리할 때라고 봅니다.”

한국연구재단의 배영찬 학술진흥본부장(한양대 화학공학과 교수·사진)은 한국형 SCI로 불리는 한국학술지인용색인(KCI)의 인용지수를 개발·분석한 뒤 “저자 자신도 인용하지 않는 논문이 80%라는 점은 충격적인 일”이라고 말했다.

―인용지수를 개발하고 분석한 이유는….

“학술지가 몇 편 없을 때는 양적 팽창을 우선시해야 했다. 그래서 학술지를 발간할 수 있는 외형적 기준만 충족하면 대부분 등재지로 선정했다. 이제 양적 성장은 충분히 이뤘으니 질적 수준을 관리해야 할 때다. 객관적인 인용지수가 꼭 필요하다.”

―학술지의 질적 수준은 그동안 어떻게 평가했나.

“등재 여부를 결정할 때 심사위원이 있기는 하다. 하지만 주관적인 동료 평가에 가까웠다. 해당 분야를 전공하지 않은 교수가 심사하는 경우도 있어 학회가 반발하는 일도 많았다. 객관적인 질적 평가는 사실상 없었던 셈이다.”

―등재 및 등재후보지에서 제외되는 학술지는….

“아주 기본적인 형식을 맞추지 못하면 제외되기도 한다. 하지만 1년에 네 번 발간하기로 했는데 주기를 맞추지 못한다거나 하는 경우에 한정된다. 그러다 보니 기초적인 참고문헌 정리 같은 양식도 제대로 못 쓰는 학술지도 있는 게 현실이다.”

―인용지수 공개에 따른 파장이 적지 않을 것 같다.

“허술한 학술지가 많다는 점을 모르는 사람이 없겠지만 구체적 수치로 제시했으므로 학계나 대학에서 파장이 클 것이다. 우선 허술한 학회나 학술지는 살아남기 어려워진다. 반대로 내실 있고 규모가 큰 학회는 지원을 더 많이 받는 효과가 생긴다. 대학에서는 지금까지 교수 승진 심사 등에서 인용지수가 0인 학술지 논문이나, 인용지수 2인 학술지 논문이나 똑같이 1편으로 쳐줬는데 앞으로는 바뀔 것으로 본다.”

―향후 계획은….

“외국 시스템의 장점만 접목해서 학술지별 인용지수는 물론이고 연구자 개인별 인용지수를 확인할 수 있도록 만들겠다. 학회끼리 담합해서 서로 인용해 주는 사례를 적발하는 시스템까지 구축할 계획이다. 논문 표절 여부를 검색할 수 있는 프로그램도 만들어서 모든 등재 학술지가 이용하도록 하는 방안도 검토하고 있다.”

배 본부장은 “KCI 인용지수 분석은 방대한 데이터를 계속 수집해야 하는 작업이므로 정부 차원의 예산 투입이 필요하다”고 덧붙였다.

남윤서 기자 baron@donga.com

크게보기