제2회 세계 휴머노이드 로봇 스포츠 대회가 보여준 것, 결국은 ‘데이터’

제2회 세계 휴머노이드 로봇 스포츠 대회가 최근 중국에서 개최되었습니다. 이번 대회를 통해 휴머노이드 로봇 기술의 빠른 발전이 다시 한번 주목받고 있습니다. 이번 대회에는 16개국에서 2,000대 이상의 로봇이 참가했으며, 100m 달리기부터 핀셋으로 콩 옮기기, 조립·상차, 가사 서비스, 소방 구조 등 다양한 종목이 진행됐습니다.

겉으로 보면 경기의 승패는 속도와 정확도, 작업 완성도로 결정됩니다. 하지만 로봇이 주변 환경을 인식하고 상황을 판단하며 실제 작업까지 수행하기 위해서는 이를 학습할 수 있는 고품질 데이터가 필요합니다.

특히 휴머노이드 로봇의 능력은 크게 환경을 이해하고 행동을 결정하는 영역과, 결정된 행동을 실제 움직임으로 구현하는 영역으로 나누어 볼 수 있습니다. Physical AI 분야에서는 이를 로봇의 ‘대뇌’와 ‘소뇌’에 비유하기도 합니다.

휴머노이드 로봇의 ‘대뇌’와 ‘소뇌’, 필요한 데이터도 다릅니다

대뇌에 해당하는 VLA(Vision-Language-Action) 모델과 World Model은 주변 환경을 이해하고 작업 목표를 파악하며, 상황에 따른 행동을 계획하는 역할을 담당합니다. 반면 소뇌에 해당하는 영역은 운동 제어와 관절 구동, 힘 제어 등 실제 움직임을 구현합니다.

즉, 대뇌가 ‘무엇을 할 것인지’를 결정한다면 소뇌는 ‘어떻게 움직일 것인지’를 제어합니다. 따라서 휴머노이드 로봇의 능력을 학습하기 위해서는 환경 이해부터 행동 계획, 정밀한 조작까지 서로 다른 유형의 데이터가 필요합니다. 이번 대회의 대표적인 종목을 통해 이러한 데이터의 차이를 살펴볼 수 있습니다.

종목 1. 육상 경기｜100m·400m: ‘대뇌’의 자율적인 판단 능력을 평가하다

휴머노이드 로봇 육상 경기 모습 | 출처: 신화통신

100m와 400m 등 육상 경기에서는 로봇이 사람의 개입 없이 스스로 출발 신호를 인식하고 주어진 트랙을 따라 달려야 합니다. 경기 중에는 주변 환경과 자신의 위치를 파악하면서 주행 자세와 움직임을 상황에 맞게 조정하는 능력이 요구됩니다.

이러한 능력을 학습하기 위해서는 사람이 실제 환경에서 무엇을 보고 어떻게 판단하고 행동하는지 보여주는 데이터가 중요합니다. 특히 1인칭 시점에서 수집한 Ego-Centric 데이터는 사람의 시야와 행동 흐름을 함께 담을 수 있어 환경 변화와 행동 사이의 관계를 학습하는 데 활용할 수 있습니다.

넥스데이타 관련 데이터

• 1만 시간 다중 시나리오 Ego-Centric 데이터

• 1,042개 6카메라 Ego-Centric Embodied AI 데이터셋

종목 2. 정교한 손동작 경기｜핀셋으로 콩 옮기기·병 열기：‘소뇌’의 정밀한 제어 능력을 평가하다

휴머노이드 로봇 정밀 조작 경기 현장 | 출처: 소후

분말 계량, 핀셋으로 콩 옮기기, 병 열고 뚜껑 따기 등 정밀 작업에서는 로봇의 손끝 제어와 힘 조절, 전신 협응 능력이 중요합니다. 단순히 물체를 인식하는 것을 넘어 손가락의 힘과 각도, 움직임의 궤적을 정밀하게 제어해야 하기 때문입니다.

따라서 이러한 능력을 학습하기 위해서는 Teleoperation, Dexterous Manipulation, 손동작 및 궤적 데이터 등 사람의 실제 조작 과정을 담은 데이터가 필요합니다.

넥스데이타 관련 데이터

-11.6만 건 3D 손동작 및 제스처 인식 데이터

종목 3. 실제 환경 시나리오 경기｜조립·상차·가사·소방 구조：‘대뇌와 소뇌’의 협업 능력을 평가하다

산업 현장에서 자재를 운반하는 휴머노이드 로봇 | 출처: 소후

실제 환경을 가정한 시나리오 경기에서는 환경을 이해하고 작업을 계획하는 능력과 이를 실제 동작으로 구현하는 능력이 동시에 요구됩니다. 조립·상차부터 가사 서비스, 소방 구조, 도서 정리까지 다양한 작업을 수행하기 위해서는 주변 환경과 작업 대상을 이해하고, 정해진 순서에 따라 물체를 조작할 수 있어야 합니다.

이러한 복합적인 작업에는 영상과 3D 데이터뿐만 아니라 사람의 실제 행동과 물체 간 상호작용을 담은 데이터가 함께 필요합니다.

넥스데이타 관련 데이터

• 1만 건 다중 카테고리 3D 모델 데이터

• 10만 건 Human-Object Interaction 1인칭 영상 어노테이션 데이터

실제 환경을 담는 Physical AI 데이터

휴머노이드 로봇이 실제 환경에서 안정적으로 작동하기 위해서는 다양한 상황과 작업을 담은 데이터가 필요합니다. 넥스데이타는 영상, 이미지, 3D 모델 및 멀티모달 데이터를 기반으로 Ego-Centric, Human-Object Interaction, 3D Model 등 Physical AI 데이터 리소스를 구축하고 있습니다. 특히 8,000㎡ 이상의 자체 데이터 수집 공간을 기반으로 다양한 실제 환경을 구현하고, 로봇과 사람, 물체 사이에서 발생하는 물리적 상호작용 데이터를 수집할 수 있습니다.

Physical AI의 다음 단계, 데이터에서 시작됩니다

휴머노이드 로봇이 실제 환경을 이해하고 스스로 판단하며 정교하게 움직이기 위해서는 단순히 많은 데이터가 아니라 실제 환경의 다양성과 사람의 행동, 물체와의 상호작용을 정확하게 담은 데이터가 중요합니다.

넥스데이타는 Ready-to-use 데이터셋과 맞춤형 데이터 서비스를 바탕으로 Physical AI 모델 개발에 필요한 다양한 데이터 리소스를 지속적으로 확대하고 있습니다. 로봇이 더 잘 보고, 더 잘 판단하고, 더 정교하게 움직일 수 있도록 데이터로 지원하겠습니다.