블로그

이미지=Pixabay

논문의 영향력을 측정하는 온라인 도구들

​대부분의 과학 논문이 온라인에 게재되면서 과학 논문 출판계는 완전히 탈바꿈하고 있다. 

​그간, 과학 데이터(scientific data)의 영향력 측정을 위한 새로운 도구들을 개발하기 위해 많은 노력이 있어 왔다. 이러한 도구들은 인쇄 출판본을 기다리기 전에 먼저, 온라인 매체 속에서의 영향력을 가늠하는 데 도움을 줄 수 있다.   

​저널의 가장 두드러진 측정 기준(metric) 중 하나는 ‘다운로드 영향력 지수(download impact factor)’이다. 다운로드 지수는 저널에 실린 논문들이 다운로드 되는 비율로 정의된다. 이 도구는 ‘저널 영향력 지수(journal impact factor)’와 유사하다. 

​이와 같은 목적으로 이용되는 또 다른 주요 도구는 ‘저널 활용 지수(journal usage factor)’로, 이 지수는 중간값(median)이 아닌 평균(mean)을 기반으로 측정한다. 비록 많은 소셜 네트워크 지표(metric)들이 있으나, 이때 다운로드 지표는 다운로드 로그(logs)가 아닌 클릭(clicks)을 통해서 해당 정보를 추산한다.

​저널의 영향력을 측정하기 위해, 인용 횟수와 다운로드 횟수 모두 채택되어 왔다. 과학 저널들의 영향력을 측정하는 데는 단 하나의 지표만 사용할 수는 없다. 대부분의 연구자들은, 요즘 온라인 미디어의 확고한 비중을 고려할 때 다운로드 지표들이 더 큰 파급력을 갖는다고 믿는다. 

​저널의 다운로드 빈도(download frequency)는 해당 저널의 영향력 지수(impact factor)에 영향을 받지 않을 것이다. 절대값을 기준으로 할 때, 한 저널의 인용 횟수와 다운로드 빈도 사이에는 강한 상관관계가 존재한다. 이에 더해, 다운로드 수(download number)와 저널 영향력 지수(impact factor) 사이에도 어느 정도의 상관관계가 존재한다. 

논문의 영향력, 다운로드(download) vs 인용(citations)

​스코퍼스(Scopus)는 인용 데이터(citation data)를 측정할 수 있는 매우 유용한 도구다. 반면에, 사이언스다이렉트(ScienceDirect)는 다운로드 횟수를 측정할 수 있는 도구다. 두 도구(tools) 모두 다운로드(download)와 인용(citations) 간의 관계를 파악하기 위해 사용된다. 이와 같은 방식으로, 발표된 논문들에 대한 영향력을 측정한다. 스코퍼스(Scopus)는 컨퍼런스 논문과 초록(abstract)을 포함하지 않는 영향력 도구(impact tool)이다. 사이언스다이렉트(ScienceDirect)는 모든 종류의 논문의 파급력을 망라하는 측정 도구다.

​스코퍼스(Scopus)는 논문이 인용되기까지 걸린 시간을 측정하는 반면, 다운로드는 논문의 혁신적 가치를 측정하는 도구이다. 각각의 주관적 영역에서, ‘훌륭한(excellent)’ 논문은 높은 수의 ‘다운로드 평균(download mean)’을 가진 논문들이다. 

​영어 저널 및 비영어 저널 모두 다운로드(downloads)와 인용(citations) 간에는 강한 상관관계가 있었다. 어떤 저널에서는, 논문이 매우 높은 수의 다운로드를 기록했음에도 인용으로 이어지지 않은 경우도 있었다. 

​개별 논문의 경우 저널 보다는 상관관계가 약했으나, 표본의 크기(sample size)에 비해 훨씬 더 의미있게 나타났다. 다운로드 횟수는 해당 저널이 얼마나 발행되느냐에 달려 있지 ‘참신성’이 결정하는 바는 아니다. 오늘날 논문의 질(quality of paper)은 인용 횟수로 반영된다. 광범위한 발행 부수와 보급이 된 저널들은 많은 다운로드 횟수를 기록하지만, 반드시 대응하는 수준의 인용으로 이어지지는 않는다. 

​낮은 영향력을 가진 저널에 게재된 논문들은, 후일 얼마나 많은 인용 횟수를 기록하느냐에 상관 없이 상대적으로 낮은 수의 다운로드를 기록했다. 이는 다운로드 데이터가 인용 횟수의 예측 변수(predictor)로 고려될 수 없음을 시사한다. 특히 해당 저널이 초창기 몇년동안 낮은 유의도(lower significance)를 가졌을 경우 더 그렇다. 

​영어 저널의 경우, 논문의 다운로드 횟수가 인용 횟수보다 약간 낮다. 비영어 저널의 경우, 다운로드 횟수가 인용 횟수보다 약간 더 높다. 비영어 저널의 경우, 인용과 다운로드의 상관관계는 상대적으로 매우 낮은 것으로 보인다.

​​* 위 글은 하리스코 영문블로그 포스팅 중 'What is real research impact: downloads or citations'를 번역한 내용임.

​* 출처 :
  하리스코 블로그 https://blog.naver.com/harrisco99/223120785271​

  하리스코 영문블로그 https://en.harrisco.net/blog/