블로그

컴퓨터 알고리즘과 데이터 과학의 발전 덕분에 오늘날은 메트릭스(metrics)와 지표(indicators)를 활용해 연구 논문의 품질(quality)을 측정할 수 있게 됐다.

이러한 메트릭스(metrics, 측정지표)는 개별 연구자, 연구자 팀, 기관의 부서 등의 요구에 맞게 특별히 설계되어 연구 논문의 성과(impact)를 평가할 수 있다.

동료 평가(peer review)는 정성적인 프로세스(qualitative process)인 반면 매트릭스(metrics, 측정지표)는 정량적 매개변수(parameter)이며, 매트릭스(metrics)의 선택은 연구의 목적과 주제에 따라 달라질 수 있다. 이러한 어려움이 있지만, 여전히 저널 차원의 지표(indicators)는 연구의 품질을 평가하는 파라미터(매개변수, parameter)로 사용되고 있다.

​2014년 네덜란드 레이덴에서는 과학기술지표(STI) 컨퍼런스가 개최됐었다. 당시 컨퍼런스에는 저명한 교수들을 비롯해 네덜란드의 선도적인 STM출판사(Scientific, Technical, and Medical Publisher)인 엘스비어(Elsevier)의 전문가들이 패널로 참가했다. 이들 전문가들은 연구의 내용(content)과 데이터(data)를 측정하는 데 활용되는 메트릭스(metrics)와 지표(indicators)의 품질(quality)을 표준화하는 것이 시급하다는 문제의식에 공감했다.

이를 위해 당시 회의에 참가한 전문가들은 ‘스노우볼 메트릭스(Smowball Metrics)’ 이니셔티브라는 걸 만들었다. 즉, 세계의 모든 대학들이 협력해 산출물(output)과 연구 방법론(research methodology)의 측면에서 연구의 품질을 측정하기 위한 일련의 표준들(a set of standards)을 만들어 보자는 것이었다.

​이 시도는 엘스비어의 연구 측정법 부문 디렉터와 세계 유수 대학의 저명 교수들이 함께 노력한 결과이기도 했다. 당시 엘스비어가 제시한 이상적인 비전은 다음과 같은 내용이었다.

​▲ 연구의 전체 워크플로우(an entire workflow of a research study)는 여러 측정지표(metrics)를 활용해 다양한 측면에서 평가된다.

​▲ 연구 주제와 관련이 있는 피어(peers)는 자신들의 측정지표 세트(sets of metrics)를 선택할 수 있어야 한다.

​▲ 메트릭스(metrics)를 생성하고 사용하는 데 있어 자동 방식을 택할 수 있어야 하고 또, 확장 가능해야(scalable) 한다.

​▲ 일반적으로, 연구(research study)는 ‘과학, 기술, 의학(science, technology, or medicine)’과 관련된 질문에 답을 제시하는 데 초점이 맞춰져야 한다.

​▲ 메트릭스(metrics, 측정지표)는 연구의 데이터를 정량적인 방식(quantitative fashion)으로 평가함과 동시에 연구 결과가 완전한 지를 확인할 수 있도록 정성적으로도(qualitatively) 평가할 수 있어야한다.

​여러 메트릭스(metrics)를 정량적으로 적용하는 것이 본질적으로 신뢰도가 가장 높은 것으로 나타난다. 메트릭스(metrics)는 규율(discipline)과 같은 일부 특성에 영향을 받기 때문에, 연구 성과를 반영하지 않더라도 이를 고려해야 한다.

​메트릭스(metrics)의 사용은 연구자들이 조작적인 ‘게임하기’같은 방법을 사용하지 않을 때 투명성을 얻을 수 있다. 그럼에도 연구자들은 여전히 메트릭스(metrics)를 무책임하고 옳지 않은 방식으로 사용하고 있다.

매일 매트릭스(metrics)을 사용하는 연구자들에게는 메트릭스 세트(set of metrics)를 정의하는 데 있어 책임감을 가질 수 있도록 해야 한다. 이렇게 함으로써 연구자 커뮤니티는 다양한 메트릭스(metrics)의 정의를 제시할 수 있을 것이다.

​연구 방법론(research methodologies)에 있어서는 어떠한 ‘블랙 박스(black boxes)’도 존재해서는 안되며, 측정지표의 집합(an aggregation of metrics)은 고려되어서는 안된다. 게다가 복합 측정지표(composite metrics)는 조사연구에서 제시되는 데이터의 진정한 가치를 절대 반영하지 못한다.

​메트릭스(metrics)의 품질을 평가하는 데 사용되는 방법론(methodologies)은 데이터의 소스(sources)나 데이터 생성에 사용된 도구(tools)와 관련이 있어서는 안된다. 게다가, 기본 데이터를 수집하는 데 사용된 비즈니스 모델 및 액세스 코드(access codes)는 메트릭스(metrics)에 영향을 미치면 안된다.

​​(* 위 글은 하리스코 영문블로그 포스팅 중 'How to standardize metrics and indicators of the quality of research papers'을 번역한 내용임)

​​* 출처 :
  하리스코 영문블로그 https://en.harrisco.net/blog/​
  하리스코 블로그  https://blog.naver.com/harrisco99/223268954517