손은 인공지능이 인식하기 까다로운 대상 중 하나다. 한 손에 21개나 되는 관절이 촘촘히 있는 데다 각도에 따라 같은 손동작도 완전히 다르게 보이기 때문이다. 사진 속 사물은 잘 알아보는 인공지능(AI)도 손가락이 얼마나 굽었는지, 어느 관절이 앞에 있는지 같은 세밀한 손 자세는 자주 틀린다. 기존 비전 AI의 성능 평가는 사물의 종류나 상황을 묻는 데 치우쳐 이런 약점이 제대로 드러나지 않았는데, 국내 연구진이 이를 세부적으로 진단하고 부족한 능력까지 학습시킬 수 있는 표준 평가 자료를 내놨다. 로봇 조작, 증강·가상 현실, 원격 수술·재활 보조 등 정확한 사람 손동작 인식이 필요한 분야 기술 개발에 활용될 수 있을 전망이다.

인공지능대학원 백승렬 교수팀은 자신이 인식한 것을 말로 설명할 수 있는 AI 모델인 비전언어모델의 손 자세 이해력을 평가하고 학습시킬 수 있는 벤치마크 데이터셋 ‘HandVQA’를 제시했다. 

벤치마크 데이터셋은 여러 AI 모델에 같은 문제를 풀게 해 성능을 객관적으로 비교하고, 어떤 유형에서 반복적으로 틀리는지를 찾아내는 표준 시험과 같다. 문제와 정답을 다시 학습시키면 부족한 능력을 보완하는 교재로도 쓸 수 있다.

연구팀은 손 사진과 21개 관절의 3차원 좌표가 함께 담긴 자료를 객관식 문제로 자동 변환하는 프로그램을 만들어, 사진 한 장당 25개씩 총 160만 개가 넘는 평가 문항을 생성했다. 프로그램은 관절 좌표에서 손가락의 굽힘 각도와 관절 사이 거리, 좌우·상하·앞뒤 위치 관계를 계산한 뒤, 이를 ‘펴짐·굽힘’, ‘가까움·벌어짐’, ‘앞·뒤’ 등으로 나눠 질문과 보기, 정답으로 바꾼다.

HandVQA로 주요 비전언어모델을 평가해 본 결과, 손 자세를 따로 배우지 않은 비전언어모델들은 방향 관계를 묻는 문제에서 거의 ‘찍기’와 비슷한 수준의 정확도를 보였다. 특히 관절 사이 거리를 판단하는 데 어려움을 겪었다.

비전언어모델인 ‘라바(LLaVA)’를 HandVQA 데이터셋으로 미세조정해 학습시키자, 관절 거리 판단 정확도가 기존 16.20%에서 90.79%로 대폭 향상됐다.

또 다른 비전언어모델인 큐웬(Qwen)은 HandVQA로 학습한 뒤 손동작 인식과 손·물체 상호작용 과제를 별도로 배우지 않았는데도 정확도가 각각 10.33%포인트와 2.63%포인트 향상됐다.

제1저자인 MD 칼레쿠자만 차우두리 세이엠(MD Khalequzzaman Chowdhury Sayem)연구원은 “틀렸던 시험 문제도 다시 잘 풀었을 뿐만 아니라, 문제 풀이 응용력도 높아진 것”이라며 “한 번 익힌 공간 이해력이 다른 손 관련 과제로 이어져, 추가 학습 부담을 늘리지 않고도 성능 향상 효과를 볼 수 있었다”고 설명했다.

백승렬 교수는 “손 자세를 조금만 잘못 해석해도 로봇의 물체 조작이나 증강현실·가상현실 기기의 명령 인식에서는 큰 오류로 이어질 수 있다”며 “HandVQA는 인공지능이 손의 미세한 움직임을 이해하는 과정에서 어떤 부분에 취약한지를 구체적으로 진단하고, 이를 보완할 수 있는 학습 자료가 될 것”이라고 말했다.

이번 연구 결과는 세계 컴퓨터 비전 분야 최고 권위 학회인 ‘CVPR 2026(Conference on Computer Vision and Pattern Recognition)’에 채택됐다.

연구 수행은 한국연구재단 기초연구(중견연구) 과제, 한국연구재단 기초 연구실 과제, IITP Star Fellowship 과제, IITP 인공지능대학원 과제, IITP LG AI 스타 인재 양성 사업 등의 지원을 받아 이뤄졌다.