피지컬 AI를 위한 고정밀 데이터 수집 솔루션: SeerFusion One·Traq·Gripper의 협업

피지컬 AI 모델이 실제 환경에서 사람처럼 작업을 수행하기 위해서는 주변 환경을 관찰하는 것뿐만 아니라, 사람이 어떻게 움직이고 도구를 사용하며 물체와 상호작용하는지에 대한 데이터가 필요합니다. 따라서 1인칭 시점의 영상, 신체 움직임, 말단 조작 등 서로 다른 유형의 데이터를 함께 수집하고 연결하는 것이 중요합니다.

넥스데이타(넥스데이타코리아테크놀로지 주식회사)는 이러한 데이터 수요에 대응하기 위해 SeerFusion One, Traq, Gripper를 결합한 고정밀 피지컬 AI 데이터 수집 솔루션을 제공합니다. 하나의 작업 과정에서 시각 정보부터 신체 움직임과 말단 조작까지 다양한 데이터를 동시에 확보하고, 이를 피지컬 AI 및 로봇 학습에 활용할 수 있는 데이터로 구축할 수 있도록 지원합니다.

실제 작업 경험을 입체적으로 기록하는 데이터 수집

넥스데이타의 데이터 수집 구성은 6카메라 기반 1인칭 데이터 수집 장비 SeerFusion One, Traq가 내장된 2개의 SeerFusion Glove, 2개의 SeerFusion Gripper로 구성됩니다. 각 장비는 서로 다른 데이터를 수집하면서 하나의 작업 과정을 다각도로 기록합니다.

SeerFusion One | 6카메라1인칭 시점 데이터 수집

SeerFusion One은 작업자가 실제 환경에서 작업을 수행하는 동안 1인칭 시점의 영상과 실시간 6DoF 헤드 포즈를 수집합니다. 스테레오 RGB와 4개의 모노 어안 카메라를 기반으로 하며, 선택적으로 ToF Depth와 어레이 오디오를 지원합니다. 또한 온보드 SLAM을 통해 헤드 포즈를 실시간으로 추적하고 온라인 자체 보정을 지원해 실제 작업 환경에서 안정적인 공간 정보를 확보할 수 있습니다. 하드웨어 타임스탬프를 기반으로 온보드 센서 간 밀리초 수준의 동기화를 지원하며, 8코어 SoC와 최대 2TB TF 카드 저장공간, 핫스왑 배터리를 통해 독립적인 데이터 수집이 가능합니다.

Traq | 신체와 손의 움직임을 정밀하게 추적

Traq는 6DoF 기반의 정밀 추적 장비로, 위치 오차 밀리미터급, 각도 오차 1° 미만의 추적 성능과 최대 500Hz의 자세 업데이트를 지원합니다. VSLAM 기반 자체 추적과 수동형 IR LED 위치 추적을 결합한 듀얼 트래킹 방식을 적용해 가림이나 텍스처가 부족한 환경에서도 안정적인 추적을 지원합니다. 손, 손목 및 관절 등에 적용할 수 있으며, 작업자의 움직임과 각 부위의 공간적 관계를 보다 정밀하게 기록할 수 있습니다. 또한 2.4G 무선 통신을 통해 장비 간 시간을 동기화하며, 머리와 손 데이터 간 시간 차이를 1ms 이하로 유지할 수 있도록 설계되었습니다.

Gripper | 손끝에서 발생하는 말단 조작 데이터 수집

Gripper는 UMI 그리퍼를 기반으로 잡기, 회전, 삽입 등 다양한 말단 조작 과정을 데이터화합니다. 그리퍼의 공간적 자세와 이동 궤적뿐만 아니라 개폐 상태까지 함께 기록해, 사람의 손이 물체를 어떻게 잡고 이동시키며 조작하는지를 보다 세밀하게 표현할 수 있습니다. 이를 통해 단순히 사람이 작업하는 영상을 기록하는 데서 나아가, 로봇이 학습할 수 있는 말단 자세와 그리퍼 상태 중심의 조작 데이터를 구축할 수 있습니다.

핵심은 서로 다른 데이터를 하나의 시공간으로 연결하는 것

세 장비를 함께 사용하는 가장 큰 장점은 각각의 데이터를 개별적으로 확보하는 데 있지 않습니다. 핵심은 서로 다른 센서와 장비에서 수집한 정보를 하나의 공간 좌표계와 동일한 시간축으로 연결하는 것입니다.

SeerFusion One이 작업자의 시각과 머리 움직임을 기록하고, Traq가 신체 및 손의 움직임을 추적하며, Gripper가 말단 조작 상태를 기록하면 각 데이터는 하나의 작업 과정 안에서 서로 연계될 수 있습니다. 장비 간 공간 정렬 및 시간 동기화 기술을 통해 환경 관찰, 신체 움직임, 말단 6DoF Pose, 그리퍼 상태 등의 데이터를 통합함으로써 서로 다른 장비에서 수집된 데이터를 별도로 정렬하는 부담을 줄일 수 있습니다. 또한 기존의 다수 카메라와 모션 캡처 시스템을 조합하는 방식에 대한 의존도를 낮추고, 실제 작업 환경이나 연구 환경에서 보다 유연하게 데이터를 수집할 수 있습니다.

실제 데이터 구축 사례: 10,000시간 6카메라 Ego 피지컬 AI 데이터셋

넥스데이타는 이러한 6카메라 1인 시점 데이터 수집 장비를 활용해 총 유효 수집 시간 10,000시간 규모의 멀티모달 피지컬 AI 데이터셋을 구축했습니다.

해당 데이터셋은 25개 실제 업무 시나리오를 포함하며, 여러 차례의 품질 검수와 AI 전처리, 사람에 의한 정밀한 동작 구간 분할 및 어노테이션 과정을 거쳐 구축되었습니다. 데이터는 MCAP 형식의 멀티센서 데이터와 함께 한국어 포함한 다국어로 구성된 태스크 및 동작 레이블을 제공합니다.

截屏2026-11-05 15.35.57.png