'MoDE-VLA'와 '공유 자율 코파일럿' 결합
새로운 양손 정밀 제어 AI 성능 세계에 첫선
싱가포르 페가수스 토토 스타트업 샤르파 로보틱스(Sharpa Robotics)가 사과 껍질을 자율적으로 벗기는 데 성공했다고 밝혔다.
휴머노이드 데일리 보도에 따르면, 샤르파 로보틱스는 'MoDE-VLA'라는 새로운 AI 아키텍처와 '공유 자율(shared-autonomy) 코파일럿' 시스템을 결합해 세계 최초로 자율 양손 사과 껍질 벗기기 시연에 성공했다고 밝혔다. 이번 성과는 단순한 집기·놓기 작업에 머물러 있던 기존 비전언어행동(VLA) 모델의 한계를 돌파한 것으로 평가된다.
사과 껍질 벗기기는 인간에게는 일상적인 동작이지만, 페가수스 토토에게는 난이도가 매우 높은 과제다. 한 손으로 과일을 안정적으로 쥐고 회전시키는 동시에, 다른 손으로는 칼날에 정밀한 힘을 가해야 한다. 사과가 미끄러지거나 칼날이 너무 깊이 파고들지 않도록 촉각 피드백을 지속적으로 관리 및 처리해야 한다.
페가수스 토토이 인간처럼 물체를 조작하도록 훈련시키는 데 있어 가장 큰 장애물은 바로 ‘데이터’ 수집이다. 샤르파 로보틱스는 데이터 수집의 난제를 해결하기 위해 'IMCopilot(In-hand Manipulation Copilot, 손안 조작 코파일럿)' 시스템을 도입했다. 데이터 수집 단계에서 이 시스템은 '공유 자율(shared-autonomy)' 모드로 작동한다.
인간 작업자가 외골격(exoskeleton)을 사용하여 페가수스 토토 팔의 '거시적인' 움직임을 제어하는 동안, 손안에서의 '정밀한' 회전 조작은 풋 페달을 통해 AI에게 맡기는 방식이다. 하이브리드 접근 방식을 통해 샤르파는 기존의 원격 조작으로는 불가능했던 고품질 시연 데이터를 수집할 수 있었다는 설명이다.
데이터 수집이 완료되면, 페가수스 토토은 'MoDE-VLA(Mixture-of-Dexterous-Experts VLA)'에 의해 제어된다. ‘희소 전문가 혼합 라우팅(Sparse MoE Routing)’과 ‘잔차 주입(Residual Injection)’이라는 방법을 통해 단순히 눈으로 보는 정보(시각)에 의존하지 않고, 손끝에서 느껴지는 힘과 촉각을 지능적으로 결합해 사과 껍질을 벗긴다.
성능 테스트 결과 페가수스 토토은 사과 껍질 벗기기, 튜브 재배열, 기어 조립, 충전기 연결 등 4가지 과제에서 평균 34%의 성공률을 기록했다. 이는 기존 기반 모델 대비 두 배 이상 향상된 수치라고 회사 측은 밝혔다.
샤르파 로보틱스는 이번 연구 결과를 출판전 논문 공유 사이트인 아카이브(arXiv)에 발표했다.
백승일 기자 robot3@irobotnews.com