[필진] 임팩트 팩터가 과학 논문의 질을 보장하는가?

최근의 과학 기사를 보면 'NSC 삼관왕' (Nature, Science, Cell) 이니 '누구누구가 후즈후 인명사전에 실렸다.'라는 기사를 접하게 된다. 유명 저널에 한국인의 논문이 출판되는 것은 당연히 축하할 일이고 그 논문을 간략히 마나 소개하는 것은 좋은 일이다. 그러나 'NSC 삼관왕'따위의 기사는 과학 기사로는 별로 어울리지 않은 전형적인 줄 세우기 문화가 반영된 기사로 밖에 보이지 않는다. "후즈후"에 관한 기사는 기사로서의 가치가 있는지 조차 모르겠다. 그런 게 왜 인물 동정 같은 난이 아닌 과학 기사란에 있는지는 더 더욱 알 수 없다.

'NSC 기사'와 같은 과학 논문에 관한 기사로 인해 세계 유명 저널의 이름과 함께 저널의 임팩트 팩터 (impact factor, IF)도 자주 이야기 되곤 한다. 그와 함께 'NSC'외의 높은 임팩트 팩터를 갖는 저널에 한국과학자의 논문이 실렸다는 기사도 종종 접하게 된다. 이런 기사들로 인해 우리는 통상 논문의 질을 임팩트 팩터와 연관 지어 생각하게 된다. 이런 경향은 높은 임펙트 팩터를 갖는 톱-클래스 저널의 논문은 세계적이고 완벽한 성과라는 인상을 주기 쉽다. 과거에 자주 듣던 "사이언스가 검증한 논문을 감히...."라는 말도 여기에서 비롯되었다 할 수 있고 사이언스, 네이처, 셀의 세 저널에 실린 논문에 대해 현금 보상을 해 주겠다는 과기부의 결정에도 이 저널들이 갖는 임팩트 팩터가 중요한 역할을 했을 것이다. 그러면 과연 임팩트 팩터가 논문의 질을 보장하는가?

위 질문에 답하기 위해서는 임팩트 팩터가 무엇인지 먼저 알아 보자. 임팩트 팩터는 ISI (Institute of Scientific Information) 라고 하는 1960년 유진 가필드 박사에 의해 설립된 (지금은 Thomson Scientific 이다) 회사에서 발표하는 과학 저널의 인용 지수이다. (공식 홈페이지는 http://www.isinet.com 이다.) 이 지수는 매년 여름에 한번씩 발표되며 이때에 전세계 저널 관계자들의 희비가 엇갈린다. 임팩트 팩터는 쉽게 말해 저널의 질을 따지는 한가지 방법이다. 그것은 최근 2년간 출판된 논문이 당해 년도에 평균 인용된 횟수이다. 즉, 어떤 저널의 2005년 임팩트 팩터는 다음과 같은 식으로 구해진다. 먼저 이 저널에 최근 2년간 그러니까 2003년과 2004년에 걸쳐 실린 논문의 총수를 D 라 하고 2005년 1년간 이 논문들이 인용된 수를 N 이라 하면 이 저널의 임팩트 팩터는 IF = N/D가 된다. 예를 들어 이 저널에 2003년에 500편, 2004년에 600편의 논문이 실렸고 이 총 1100편의 논문이 2005년에 모두 2200번 인용이 되었다면 그 저널의 2005년 임팩트 팩터는 2200/1100 = 2 가 된다. 이 임팩트 팩터는 1955년 유진 가필드박사에 의해 제안되었고 그의 말에 따르면 그 목적은 저널의 저명도, 즉, 어떤 저널이 과학 연구에 큰 영향을 끼치는가를 따지기 위한 것이었다. 저널의 저명도를 수치로 나타내는 것은 몇 가지 유용한 면이 있다. 일례로 전세계에서 출판되는 모든 학술 잡지를 하나의 도서관에서 구독하는 것은 거의 불가능 하다. SCI 저널로 등록된 과학 저널만도 6000여 개에 이른다. 한정된 예산을 가지고 구독할 수 있는 저널의 수가 제한되므로 어떤 저널을 택해 구독할 것인가 하는 문제는 중요해 진다. 이 때 이용 될 수 있는 방법이 바로 저널의 임팩트 팩터이다. 예를 들어 2004년의 9위인 Nature의 임팩트 팩터는 약 32인 반면 SCI 저널로 등록된 저널의 절반 이상은 임팩트 팩터가 1.0 이하이다. 구매자의 입장에서는 당연히 높은 임팩트의 저널을 구독하려 할 것이다. 따라서 저널 발행자들이 이에 목을 매는 것은 쉽게 이해가 갈 것이다. 임팩트 팩터는 저널의 비지니스에 직접 영향을 미치고 또 좋은 논문을 유치하기 위한 방법이 될 수 있다. 사설 기업에서 발행하는 과학저널의 구독료는 사실 매우 비싸다.

그러나 임팩트 팩터만이 저널의 질을 판단하는 유일한 잣대는 아니다. 그 동안 여러 다른 지수가 개발되었다. 이를 연구하는 사람도 많이 생겨났다. 하지만 임팩트 팩터와 마찬가지로 이런 지수들 모두 어느 한 면은 충실히 반영할 수 있으나 다른 면은 그렇지 못하다는 공통점을 가지고 있다. 완벽한 것은 여기에서도 존재하지 않는다. 그럼 여기서 임팩트 팩터와 그에 대한 맹신이 갖는 문제점을 보자.

거의 모든 저널의 발행인 또는 편집인 이라면 임팩트 팩터로 인해 유무형의 상당한 심적 압력을 받게 된다. 따라서 어떤이들은 임팩트 팩터를 올릴 수 있는 방법을 찾기도 한다. 사실 임팩트 팩터의 계산에는 몇 가지 맹점이 있다. 이를 이용하면 저널의 임팩트 팩터를 인위적으로 높일 수 있다. 이는 상상이 아니라 실제 일어나고 있는 일들이다. 다음의 예는 잘 알려진 그리고 실제로 사용되는 몇 가지 방법이다. 먼저 과학 저널에는 그 저널의 특성에 따라 어떤 저널은 과학 논문만 다루지만 네이처나 사이언스를 포함한 어떤 저널들은 과학 논문뿐 아니라 뉴스나 동정란, 책 소개, 편집자란, 학회의 초록집 등도 같이 출판한다. 이런 것들은 과학 논문이 아니기 때문에 임팩트 팩터를 계산 하는 데에 있어서 분모에 들어가지 않는다. 그러나 그것을 인용하게 되면 그 피인용 횟수는 분자에 포함 된다. 어쨌든 인용되었으므로. 따라서 이런 뉴스란 같은 것이 많을수록 그 저널의 임팩트 팩터는 당연히 높아지게 된다. 이런 게 대세에 영향을 미칠까 생각할 수 있다. 그러나 실제로 어느 저널의 경우 이런 것들의 영향이 16% 까지라는 분석도 있으니 무시 못할 수단이다. 또 하나의 방법은 리뷰 논문을 많이 싣는 것이다. 리뷰 논문이란 어느 특정 주제에 대해 개요와 역사부터 최근의 학설까지를 모두 소개하는 일종의 그 분야를 정리하는 논문이다. 이런 논문은 연구 논문은 아니지만 대개는 보통의 논문 보다 훨씬 많은 피인용수를 기록한다. 이는 여러 개의 연구 논문을 모두 인용하는 것보다 하나의 리뷰 논문을 인용하는 것이 편하고 또 그 분야의 입문서로 리뷰 논문이 적당하기 때문이다. 실제로 임팩트 팩터의 최상위권 저널들을 보면 리뷰만 출판하는 리뷰 전문저널이 많이 올라 있다. 이 저널들은 임팩트 팩터가 생겨나기 훨씬 전부터 존재해온 저널들로 소수의 리뷰 논문만을 싣는다. 따라서 그 분야의 권위자인 사람이 집필하는 경우가 많으며 당연히 피인용수가 높다. 이런 경향을 이용해 일반 저널에서도 리뷰 논문을 많이 실으면 그 저널의 임팩트 팩터 향상에는 큰 도움이 된다. (리뷰 논문이 중요하지 않다는 이야기가 아니다. 그건 중요하다. 그러나 원래의 아이디어를 제공한 논문보다 더 높은 평가를 받을 수 는 없다.)

또한 어떤 저널 발행자들은 자기 저널의 임팩트 팩터를 높이기 위해 비정상적인 방법을 쓰기도 한다. 가장 흔한 방법이 자기 저널에 논문을 투고한 논문 저자에게 과거 2년 동안 자기 저널에 실린 논문을 몇 편이상 인용하도록 "요청"하는 것이다. 편집자는 이를 자기 저널의 논문도 한번 보아달라는 요청으로 우기지만 논문을 투고한 저자의 입장에서는 이는 거절하기 어려운 "협박"이 될 수도 있다. 왜냐면 게재 여부를 따지는데 불이익을 받을지 모른다는 두려움 때문이다. 이는 과학자의 윤리에도 크게 어긋나는 일이다. 이런 자기-인용의 방법은 편집자란 에서도 이용될 수 있다. 극단적인 예를 들면 편집자란에 최근의 연구 동향이라는 주제로 자기 저널에 실린 논문을 중심으로 리뷰를 한다면 (전문적인 리뷰가 아니라 초록위주로 소개만 해도) 이 저널의 임팩트 팩터는 곧바로 최대 1.0 이 더 올라 가게 된다. 실제로 자기인용의 방법으로 임팩트 팩터를 20%까지 올린 경우도 있었다. 이런 자기-인용은 사기나 마찬가지다. 다른 예로 World Journal of Gastroenterology 라는 저널의 2003년 임팩트 팩터는 3.3 인데 ISI의 조사 결과 전 피인용수의 85%가 자기-인용으로 밝혀져 SCI 저널에서 제외 되었다가 올해 7월 14일에 복귀되기도 하였다. (우리나라에서는 이런 일이 일어나지 않기를 바라마지 않는다.) 이런 자기-인용의 비율은 거의 모든 저널에서 점점 더 증가하고 있다. 물론 자기-인용이 반드시 나쁜 것은 아니다. 한 분야의 전문 저널이기 때문에 그 분야의 논문이 그 저널에 실린 다른 논문을 인용하는 것은 당연하다. 문제는 이런 정직한 자기-인용이 아닌 임팩트 팩터를 높이기 위해 의도적으로 행해지는 자기-인용이다.

임팩트 팩터를 계산하는 ISI의 데이터 베이스가 완전한지에 대한 의문도 있다. 임팩트 팩터로 인해 받는 압박감으로 인해 저널 발행인들은 자기 저널의 논문 인용이 제대로 되는지를 감시한다. 그 결과 ISI의 데이터 베이스가 완전치 못하며 여러 누락된 경우로 인해 자기 저널의 임팩트 팩터가 제대로 산정되지 못했다고 불평한고 이는 ISI 관계자들도 인식하고 있다고 한다. 또한 임팩트 팩터 산정에는 최근 2년간의 피인용횟수가 이용된다. 많은 경우 2년이라는 시간이 논문의 중요성을 제대로 반영하기에는 짧을 수가 있다. 시대를 조금 더 앞서간 논문은 여기에서도 손해를 본다. (노벨 물리학상을 가져다 준 와인버그의 논문은 입자물리학에서 가장 많이 인용된 논문이다. 그러나 출판된후 몇년간 그 논문의 피인용횟수는 미미했다.)

최근에는 인터넷이 급속히 발달되었다. 인터넷을 사용할 때마다 유럽연합의 핵물리 연구소인 CERN의 과학자들에게 감사해야 한다. 인터넷은 CERN에서 학술 연구용으로 시작되었고 덕분에 인터넷의 사용자체는 무료다. 인터넷으로 인해 논문의 프리프린트를 쉽게 접할 수 있게 되었다. 프리프린트란 출판을 위해 저널에 보내진 원고이다. 이게 그대로 출판되기도 하고 어느 정도의 수정이 된 후 출판되기도 한다. 물론 게재거부로 출판되지 못한 프리프린트들도 있다. 요즘에는 프리프린트를 위한 공개된 사이트가 운영된다. 미국의 로스 알라모스 연구소에서 시작된 사이트가 한 예이다. 그럼 이 프리프린트 형태의 논문들을 인용하면 임팩트 팩터에 영향을 끼칠까? 아니다. 임팩트 팩터는 출판된 논문만을 따진다. 따라서 한 논문이 출판되기 이전에 인용이 된 경우는 임팩트 팩터 산정시 제외된다. 프리프린트가 나오고 5개월 후 저널에 출판이 되었다면 그 사이에 그 논문이 인용된 경우는 그 저널의 임팩트 팩터에 반영이 되지 않는다. 또한 출판된 후라도 저널을 인용하지 않고 프리프린트 번호만을 인용해도 제외된다. 또한 임팩트 팩터 산정에는 출판 당해 년도의 피인용수는 포함되지 않는다. 이는 1월에 출판된 논문과 12월에 출판된 논문이 동등한 조건에서 임팩트 팩터에 반영되지 않고 있다는 뜻이다. 예를 들어 2004년에 출판된 논문이 2004년에 인용된 경우는 2004년, 2005년, 2006년 임팩트 팩터 산정시 완전히 누락된다.

임팩트 팩터는 과학 연구를 왜곡 시키기도 한다. 높은 임팩트 팩터를 갖는 저널에 논문을 싣기 위해 섹시한 즉 현재 유행하는 주제나 다른이의 주목을 쉽게 끌 수 있는 주제만을 쫓게 된다. 이렇게 해서 현재는 그 가치를 인정 받지 못하지만 후대에 중요한 연구가 될 수 있는 주제에 대한 연구가 소홀해 진다. 이는 길게 보았을 때 과학 연구의 발전에 방해가 된다. 또한 멋진 주제에 대한 논문은 그 분석이 비록 피상적이라도 높은 임팩트 팩터의 저널에 실리기 쉽고 대신 그 과정이 어떻게 일어나는가를 밝히는 힘들고 어려운 후속 연구는 그런 저널에 싣기 어렵다. 또한 논문 심사시, 물론 많은 편집자들은 부인하지만, (특히 높은 임팩트 팩터의 저널은) 그 논문의 내용뿐 아니라 저널의 임팩트 팩터에 도움이 되는가를 무의식적이라도 따지게 된다. 실제로 저널 편집인들이 저널 발행자로부터 여러 형태의 압력을 받으리라는 것은 쉽게 예상할 수 있다. 결과적으로 중요한 연구 논문이라도 임팩트 팩터에 도움이 되지 않으면 불이익을 받게 된다. (물론 덜 주목 받는 분야의 논문도 구색을 맞추기 위해 몇 편은 실린다.) 이렇게 해서 학계가 인용 지수의 포로가 되어간다. 과학계에는 'publish or perish'라는 말이 있다. 연구 후에 출판하거나 그렇지 못하면 버리라는 이야기다. 이는 이제 "publish in a high-impact journal or perish'가 되어간다고 염려한다.

가장 중요한 문제는 임팩트 팩터가 저널의 질이 아니라 과학자의 질을 따지는데 사용되기 시작 했다는 것이다. 이상적으로는 그 사람이 쓴 논문의 수와 인용횟수 등이 조사 되야 한다. 그러나 여러 제약으로 인해 (솔직히 말하면 귀찮아서) 그냥 그 사람이 쓴 논문이 실린 저널의 임팩트 팩터만을 따지게 되었다. 이렇게 임팩트 팩터를 가지고 과학 논문 또는 과학자의 질을 따지려는 풍토가 생겨나고 있다. 신임 교수나 연구원을 채용할 때, 승진 심사 때, 그리고 연구비 선정 과정 등에도 이용된다. 이를 과장하면, 네이처나 사이언스에 한편의 논문을 출판한 사람이 다른 전문 학회의 저명 학술지에 수십편을 출판한 사람보다 더 큰 평가를 받을 수도 있다. 하지만 이는 임팩트 팩터를 고안한 가필드 박사조차 극력 반대하고 경고하는 일이다. 그의 말에 따르면 임팩트 팩터는 원자력의 사용과 유사하다고 한다. 원자력은 좋게 쓰면 전력을 얻지만 나쁘게 사용하면 무시무시한 무기가 된다. 그는 그 자신을 원자력을 개발한 과학자의 처지에 비유하곤 한다.

그럼 임팩트 팩터가 과연 논문의 질을 나타내는가? Nature의 2005년 6월 23일자 기사를 보자. 2004년 Nature의 임팩트 팩터는 약 32이다. 즉 2003-2004년 동안 실린 논문의 평균 인용수가 32이다. 이를 보통은 저 기간에 발표된 논문의 대부분이 2004년에 피인용횟수를 32 근처에서 갖는다고 생각하기 쉽다. 그런데 이는 틀렸다. 위 가정이 성립하기 위해서는 인용횟수의 분포가 가우스 분포가 되야 한다. 그러나 실제로는 그렇지 않다. Nature의 경우 상위 25% 의 논문이 전체 인용횟수의 89% 를 차지하였다. 즉 소수의 잘 나가는 논문이 저널 전체의 임팩트 팩터를 좌우하는 것이다. Nature나 Science의 논문 중 어느 것은 수백 번 또는 천여 번의 인용을 기록하나 대부분은 20번도 인용 안될 수 있는 것이다. 이는 다른 저널의 경우에도 마찬가지이다. 생화학 계열의 다른 저널들을 분석한 결과 Nature의 경우보다 덜 하지만 피인용수 상위 15%의 논문이 전체 피인용횟수의 50%를 차지하였고 상위 50%의 논문이 피인용횟수의 90%를 차지하였다는 통계 보고도 있다. 이들 저널의 평균 임팩트 팩터를 10이라고 가정하면 절반의 논문이 1년간 평균 단 한번 인용되었다는 뜻이다. 따라서 저널의 임팩트 팩터가 그 저널에 실린 논문의 질을 보장하는 것은 결코 아니다. 물리학의 쿼크 모형을 제안한 사람은 겔만과 츠바이크이다. 겔만의 논문은 피직스 레터스에 실렸지만 츠바이크의 논문은 게재 부적격으로 거부 되었다. 두 논문 모두 아주 많은 피인용수를 기록하지만 츠바이크의 논문은 아직도 프리프린트로만 남아있다. 레이저에 관한 첫 번째 논문도 게재 부적격으로 거부되었었다. 이처럼 세계적인 연구가 모두 Nature나 Science와 같은 높은 임팩트의 저널에 실리는 것은 아니다. 심지어는 저널에 출판도 되지 않는 경우도 있다. 또한 반대로 Nature나 Science와 같은 저널에 실린 논문이 모두 세계적인 연구 성과라고도 단정 할 수 없다. 논문이 출판되면 그 연구는 모두에게 인정받고 검증되었고 이미 평가 받았다고 생각하기 쉽다. 그러나 사실은 논문이 세상에 나온 순간부터 그 연구에 대한 검증이 시작된다. 저널의 편집자나 리뷰어가 그런 일을 할 수 없다. 논문의 성과와 같은 걸 판단하는 것은 후속 연구와 다른 연구자에 의한 검증과 발전을 통해 긴 시간에 걸쳐 이루어 진다. 임팩트 팩터가 높은 저널에 논문을 냈을 때의 장점은 다른 논문보다 상대적으로 더 큰 주목을 받을 수 있다는 점이다.

최근에는 임팩트 팩터가 학문간의 차별에도 쓰이기 시작한다. 임팩트 팩터의 상위권은 생명과학, 의학 등의 저널이다. 상대적으로 다른 분야의 전문 저널들은 낮은 임팩트 팩터를 갖는다. 그러나 이는 그 분야 연구의 활발함과 종사자의 수에 관계가 되지 그 자체가 저널의 질을 따지지는 않는다. 임팩트 팩터를 비교하려면 최소한 한 분야 내에서만 해야 한다. 임팩트 팩터는 보통 사람들이 생각하나 것처럼 그 저널이 출판하는 논문의 질을 말해주지는 않는다. 이는 Nature지가 내린 결론이며 임팩트 팩터를 발표하는 ISI의 주장이기도 하다. 임팩트 팩터는 여러 다른 지수들과 마찬가지로 저널의 질을 따지는 하나의 방법은 될 수 있을지 몰라도 논문의 질이나 과학자의 질을 나타낼 수는 없다.

마지막으로 독일의 예를 보자. 독일에서도 과거에는 임팩트 팩터가 중요하게 사용되었다. 그러나 그 부작용이 만만치 않아 여러 과학 부정행위가 발생했다. 부정 행위에 대한 조사 결과 임팩트 팩터로 인한 압박감이 한 원인으로 지목되었고 독일 정부의 연구비 지원처인 DFG도 (우리나라의 학술진흥재단이나 과학재단에 해당된다) 교수 자원의 평가를 위해 임팩트 팩터를 사용하는 걸 지양하고 대신 지원자의 상위 다섯 논문을 직접 심사할 것을 권고하게 되었다. 이 지시는 1998-1999년에 내려졌다. 물론 우리나라 과학자의 논문이 높은 임팩트의 저널에 실린 일은 축하를 받을 자격이 충분하다. 그리고 이에 대한 짧은 단신이 아닌 좀 더 자세한 기사가 나오길 바란다. 그러나 저널 이름에 너무 현혹되어 오버하지는 말자. 임팩트 팩터를 너무 맹신하지 않고 그 의미를 제대로 아는 것이 필요하다 하겠다. 적당한 비유가 될지 모르겠지만, 좀 과장하면, 1등 당첨자를 많이 낸 명당이라는 복권 판매점에서 로또 복권을 샀다고 해서 1등 당첨이 보장되는 것은 아니다. 그런데 거기에서 복권을 샀다고 집안이 모두 기뻐한다면 너무 오버가 아닌가?

(*이 기사는 네티즌, 전문필자, 기자가 참여한 <필진네트워크> 기사로 한겨레의 입장과 다를 수 있습니다.)

| 한겨레 필진네트워크 나의 글이 세상을 품는다