Physical AI를 위한 Ego-centric 데이터 수집

실제 환경에서 Human Operation Data를 확장하다

Physical AI가 빠르게 발전함에 따라, 로보틱스 개발팀에게 필요한 것은 단순한 시각 데이터만이 아닙니다. 모델이 실제 물리 환경을 이해하고 행동할 수 있도록 학습시키기 위해서는 사람이 작업을 수행하는 방식, 물체와 상호작용하는 과정, 그리고 다양한 환경에 적응하는 방식을 보여주는 Human Operation Data가 필요합니다. 

Physical AI 데이터 수집 분야에서는 일반적으로 Teleoperation, UMI(Universal Manipulation Interface), Ego-centric Data Collection이라는 세 가지 접근 방식이 활용됩니다. 각각은 서로 다른 역할을 수행하지만, 다양한 실제 환경에서 사람의 작업 데이터를 대규모로 구축해야 하는 프로젝트에서는 Ego-centric 데이터의 중요성이 점점 더 커지고 있습니다.

Teleoperation, UMI, Ego-centric: Physical AI 데이터 수집에서의 서로 다른 역할

Teleoperation은 작업자가 원격으로 로봇을 제어하면서 데이터를 수집하는 방식입니다. 데이터가 실제 로봇 시스템으로부터 직접 생성되기 때문에 로봇 고유의 이동 경로, 제어 신호, 그리고 Manipulation Policy 학습에 유용합니다. 그러나 특정 로봇 플랫폼, 전문 작업자, 그리고 통제된 데이터 수집 환경이 필요하기 때문에 대규모 데이터 구축으로 확장하는 데에는 한계가 있을 수 있습니다.

UMI는 보다 유연한 방식으로 조작 데이터를 수집할 수 있도록 지원합니다. 작업자는 전용 핸드헬드 장치 또는 그리퍼 기반 장비를 사용하여 작업을 시연하며, 이를 통해 로봇 학습을 위한 데이터를 생성합니다. Teleoperation에 비해 활용 범위는 넓지만, 여전히 전용 장비에 의존하며 특정 조작 작업을 중심으로 활용되는 경우가 많습니다.

반면 Ego-centric 데이터 수집은 작업자의 1인칭 시점에서 사람이 작업을 수행하는 과정을 기록합니다. 헤드 마운트 카메라 또는 웨어러블 장비를 활용하여 작업 흐름, 손과 물체의 상호작용, 주변 환경의 변화, 그리고 작업 수행 과정에서 나타나는 자연스러운 사람의 행동을 함께 수집합니다.

Teleoperation이나 UMI와 달리 Ego-centric 데이터는 특정 로봇 플랫폼이나 전용 장비에 제한되지 않습니다. 따라서 다양한 작업, 환경, 지역에 걸쳐 보다 효율적으로 확장 가능한 데이터 구축이 가능합니다.

왜 Ego-centric 데이터가 중요한가?

Physical AI 모델이 해결해야 하는 과제는 개별 동작을 학습하는 것에만 있지 않습니다. 중요한 것은 하나의 작업 전체를 이해하는 것입니다. 예를 들어 청소, 요리, 포장, 분류, 조립, 정리와 같은 작업은 여러 단계의 작업 과정과 지속적인 의사결정, 그리고 변화하는 환경을 포함합니다.

Ego-centric 데이터는 이러한 전체 작업 과정을 작업자의 행동 중심 시점에서 기록하기 때문에, 로봇이 작업을 이해하고 학습하는 데 매우 중요한 데이터가 됩니다. 이러한 특성으로 인해 Ego-centric 데이터는 로봇 파운데이션 모델, VLA, VLM 학습, Humanoid Robot Learning, Manipulation Learning, 그리고 Video Understanding 등 다양한 Physical AI 모델 개발에 폭넓게 활용될 수 있습니다.

넥스데이타의 Ego-centric 데이터 수집 역량

Physical AI 프로젝트에서 Ego-centric 데이터의 가치는 단순히 데이터의 양이 아니라 장면의 다양성과 데이터 구조에 의해 결정됩니다.

넥스데이타는 전 세계 실제 환경에서 Ego-centric 데이터 수집을 지원하며, 다양한 국가와 지역, 작업 환경, 객체 유형, 그리고 물리적 시나리오에 걸친 Human Operation Data를 구축할 수 있도록 지원합니다.

글로벌 데이터 수집 네트워크, Physical AI 데이터 인프라, 그리고 통합 어노테이션 워크플로우를 기반으로, 넥스데이타는 1인칭 작업 데이터, 사람-객체 상호작용 데이터, 멀티모달 Physical AI 데이터 등 고객 요구에 맞춘 맞춤형 데이터 구축 프로젝트를 지원합니다.

또한 데이터 수집 설계부터 현장 데이터 수집, 데이터 정제, 어노테이션, 품질 관리, 최종 데이터 납품에 이르기까지 전 과정을 지원하여, 원시 1인칭 작업 영상을 모델 학습 및 모델 평가에 활용할 수 있는 구조화된 데이터로 제공합니다.

즉시 활용 가능한 데이터셋 지원

맞춤형 데이터 수집 서비스와 함께 넥스데이타는 즉시 활용 가능한 Physical AI 데이터셋도 제공하며, 대표적인 데이터셋으로는 100,000시간 규모의 Multi-scenario Ego-centric Data와 100,000건의 First-person Human-Object Interaction Labeled Videos가 있습니다. 이러한 데이터셋은 Physical AI 모델의 학습, 사전학습, 성능 평가, 그리고 데이터 확장 등 다양한 개발 단계에서 활용할 수 있으며, Physical AI 데이터 솔루션 및 데이터셋에 대한 자세한 내용은 넥스데이타 Physical AI 페이지에서 확인하실 수 있습니다.

결론

Physical AI 데이터 수집 방식은 각각 서로 다른 역할을 수행합니다. Teleoperation은 로봇 기반의 작업 데이터를 제공합니다. UMI는 조작 시연 데이터 수집의 휴대성과 유연성을 향상시킵니다. 그리고 Ego-centric 데이터 수집은 다양한 실제 환경에서 사람의 작업 데이터를 확장 가능하게 구축할 수 있는 효과적인 접근 방식입니다.

넥스데이타는 전 세계 실제 환경 데이터 수집 역량과 통합 어노테이션 워크플로우를 기반으로, AI 및 로보틱스 기업이 Physical AI 모델 개발에 필요한 고품질 데이터 기반을 구축할 수 있도록 지원하고 있습니다.