회사 측에 따르면 이번 연구는 AI 솔루션 개발사들과 무관한 독립적인 연구팀이 12가지 AI 제품의 성능을 동일한 데이터로 비교했다. 그만큼 공정하고 객관적인 평가를 통해 연구 결과의 신뢰도를 높였다는게 회사 측 설명이다.
독일 하이델베르크 대학병원 소속 지젠친 교수 연구팀은 남아프리카공화국에서 2017년 8월부터 2019년 7월까지 2년간 결핵 유병률 조사에 쓰인 774명의 흉부 엑스레이 데이터를 활용했다. 루닛의 흉부 엑스레이 AI 영상분석 솔루션 '루닛 인사이트 CXR'을 포함, 12개 상용 AI 솔루션에 대한 비교 분석이 이뤄졌다.
그 결과 AI 모델의 대표적 성능평가 지표인 AUC[2] 수치를 기준으로 했을 때, 루닛 인사이트 CXR의 결핵 검출 능력은 0.902로 연구 분석에 활용된 모든 AI 제품 중 가장 높은 수치를 보였다. 특히 주목할 점은 루닛 인사이트 CXR이 세계보건기구(WHO)가 제안하는 AI 솔루션의 검출 성능 목표치에 가장 근접했다는 강조했다.
WHO는 15세 이상 결핵환자 분류 과정에 컴퓨터 보조 진단 장치(CAD) 이용을 권장하고 있고, 90%의 민감도(Sensitivity)와 70% 특이도(Specificity)를 목표 성능으로 제시하고 있다.
연구팀이 루닛 AI의 민감도 임계값을 90%로 설정했을 때, 특이도는 67.7%를 기록해 12개 제품 중 WHO 목표에 가장 근접한 결과값을 냈다. 반대로 특이도 임계값을 70%로 설정한 경우에도, 89.5%의 민감도를 나타내며 12개 제품 중 목표지수에 가장 근접했다.
서범석 루닛 대표는 "이번 연구는 루닛 AI 성능의 비교 우위를 객관적으로 입증한 주요 이정표로, 세계적 권위의 저널에 게재됐다는 점에서도 의미가 크다"며 "WHO 결핵 분류 목표에 근접한 성능을 보인 것은 글로벌 헬스케어 시장에서 루닛의 경쟁력을 입증하는 결과이며, 이를 바탕으로 개도국 등으로 시장을 적극 확대해 나갈 계획"이라고 말했다.