로봇에 '1인칭 시점' 학습시킨다…넥스데이타, 멀티뷰 Ego-centric 데이터로 피지컬 AI 시장 공략

최근 AI 기술은 단순히 정보를 이해하는 단계를 넘어, 실제 물리 환경에서 판단하고 행동하는 피지컬 AI(Physical AI) 시대로 빠르게 발전하고 있습니다.

특히 Vision-Language-Action(VLA) 모델, World Model, 휴머노이드 로봇 기술이 발전하면서 AI 모델은 단순히 물체를 인식하는 것을 넘어, 사람이 환경을 어떻게 바라보고 판단하며 행동하는지까지 학습해야 하는 단계에 접어들고 있습니다.

이러한 변화 속에서 Ego-centric 데이터는 로봇이 인간의 행동 방식과 작업 과정을 학습하기 위한 핵심 데이터로 주목받고 있습니다.

하지만 최근 Physical AI 모델의 발전과 함께 Ego-centric 데이터에 대한 요구사항 역시 빠르게 변화하고 있습니다. 과거에는 1인칭 영상 중심의 데이터만으로도 기본적인 행동 이해가 가능했다면, 현재는 복잡한 작업 과정과 공간 관계를 정확하게 학습하기 위해 더욱 풍부한 시점 정보와 센서 데이터가 필요해지고 있습니다.

이에 따라 Ego-centric 데이터는 단순한 1인칭 영상 데이터를 넘어, 다양한 카메라와 센서 정보를 결합한 멀티모달·고정밀 데이터 형태로 발전하고 있습니다.

넥스데이타는 이러한 Physical AI 데이터 요구 변화에 맞춰, 실제 환경 기반의 고품질 Ego-centric 멀티모달 데이터셋을 새롭게 공개했습니다.

실제 환경 기반 고품질 Ego-centric 데이터셋 구축

이번 신규 데이터셋은 총 1,042개의 Ego-centric 데이터 세그먼트로 구성되며, 각 데이터는 35초 길이의 완성된 행동 단위 영상으로 구축되었습니다.

데이터에는 6-camera 영상, 센서 파라미터, 3D 재구성 포인트클라우드, SLAM 기반 trajectory 데이터, 손동작 인식 결과 영상 등 다양한 멀티모달 정보가 포함되어 있어, AI 모델이 사람의 시점에서 환경과 행동을 동시에 이해할 수 있도록 지원합니다.

또한 주거 공간, 사무실, 리테일 매장, 학교, 창고 등 다양한 실제 환경에서 데이터를 수집하여, 현실 세계에서 발생하는 다양한 공간 조건과 행동 패턴을 반영했습니다.

본 데이터셋은 RGB 카메라, 어안 카메라, Depth, IMU 등 다양한 센서 데이터를 기반으로 구축되었으며, 자체 VSLAM 기술을 통해 실시간 6DoF 위치 추정 및 공간 정보를 제공합니다.

하드웨어 기반 멀티센서 동기화 기술을 적용해 높은 데이터 정밀도를 확보했으며, 밀리미터급 공간 위치 인식과 고정밀 SLAM 정보를 통해 로봇 학습, 공간 인식, 3D 환경 모델링 등 다양한 Physical AI 연구 및 산업 응용을 지원합니다.

다음과 같은 분야의 AI 모델 개발을 지원합니다.

▲피지컬 AI 및 로봇 학습

▲공간 지능 및 3D 환경 이해

▲Vision-Language-Action 모델 개발

맞춤형 AI 데이터 솔루션 제공

Ego-centric 데이터의 발전 방향은 단순히 더 많은 영상을 확보하는 것이 아니라, 실제 작업 과정을 더욱 정확하게 표현할 수 있는 데이터 구축 역량에 있습니다.

넥스데이타는 이러한 변화에 대응하기 위해 단일 카메라부터 양안 카메라, 다중 카메라 기반 Ego-centric 데이터 수집 역량을 지속적으로 확대하고 있습니다.

또한 손 동작과 조작 과정을 더욱 세밀하게 기록하기 위한 손목 카메라 등 다양한 장비를 활용해, 작업자의 시점·손 움직임·전체 작업 과정을 동시에 수집할 수 있는 멀티뷰 데이터 구축 환경을 제공합니다.

약 8,000평 규모의 Physical AI 데이터 수집 센터와 다양한 로봇 및 데이터 수집 장비를 기반으로 가정, 공장, 물류, 리테일 등 다양한 실제 환경에서 대규모 데이터 구축이 가능합니다.

현재 넥스데이타는 단일 시점, 양안 시점, 다중 시점 Ego-centric 데이터를 포함한 다양한 Physical AI 데이터 리소스를 구축하고 있으며, 시간 단위 규모의 Ego-centric 영상 데이터부터 대규모 행동 데이터까지 다양한 형태의 기성 데이터셋을 보유하고 있습니다.

또한 고객의 모델 개발 단계와 목적에 맞춰 맞춤형 데이터 수집, 데이터 구축, 시나리오 설계 서비스를 제공하며, 로봇 및 Physical AI 모델의 지속적인 학습과 성능 향상을 지원합니다.

Physical AI 시대, 더 완전한 Ego-centric 데이터가 필요합니다 

미래의 로봇은 단순히 “무엇을 보는가”를 넘어, “왜 그렇게 행동하는지”, “어떻게 작업을 수행하는지”, “환경이 어떻게 변화하는지”까지 이해해야 합니다.

넥스데이타는 지속적인 Ego-centric 데이터 역량 강화를 통해 로봇, VLA 모델, World Model 등 차세대 Physical AI 기술 개발을 위한 고품질 데이터 솔루션을 제공해 나갈 것입니다.