ko

Please fill in your name

Mobile phone format error

전화번호를 입력해 주세요

회사 이름을 입력해 주세요

회사 이메일을 입력해 주세요

데이터 요구사항을 입력해 주세요

Successful submission! Thank you for your support.

Format error, Please fill in again

Confirm

데이터 요구사항은 5자 이상이며 숫자만으로 구성될 수 없습니다

약 5만 시간 규모의 UMI 조작 데이터셋 공개… 넥스데이타코리아, Physical AI 데이터 라인업 확대

출처:넥스데이타코리아 날짜: 11/19/2026

넥스데이타코리아는 국내 최대 규모의 Physical AI 학습용 기성 데이터셋을 보유한 AI 데이터 기업으로서, 로봇 모델 개발에 필요한 다양한 실환경 데이터를 제공하고 있습니다. 최근에는 Physical AI 모델의 학습과 개발을 위한 약 5만 시간 규모의 상용 UMI(Universal Manipulation Interface) 조작 데이터셋을 새롭게 공개했습니다.

이번 데이터셋은 실제 가정환경에서 수집한 일상 작업 데이터로, 영상과 양손 조작 궤적, 그리퍼 상태, 작업에 대한 언어 설명을 함께 제공합니다. 청소, 정리, 수납, 조리 등 다양한 작업 과정이 포함되어 있어 VLA(Vision-Language-Action) 모델과 양팔 로봇의 조작 학습, 모방학습 및 실제 환경에 대한 일반화 성능 검증 등에 활용할 수 있습니다.

실제 가정환경에서 수집한 약 5만 시간의 조작 데이터

Physical AI 모델이 실제 환경에서 안정적으로 동작하기 위해서는 단순한 영상 데이터뿐 아니라, 다양한 환경에서 사람이 어떤 방식으로 물체를 조작하는지에 대한 경험 데이터가 필요합니다.

본 데이터셋은 실험실이 아닌 실제 생활공간에서 청소, 정리, 수납, 조리 등 다양한 일상 작업을 수집했습니다. 조명과 가구 배치, 물체의 위치 및 가림 현상 등 실제 환경에서 발생할 수 있는 다양한 조건을 포함해 로봇 조작 모델의 학습과 일반화 성능 평가에 활용할 수 있습니다.

6개 시점의 영상과 양손 조작 정보를 함께 제공

UMI 방식은 작업자가 머리에 착용하는 장비와 양손 그리퍼를 활용해 실제 작업을 시연하고 데이터를 수집합니다.

본 데이터셋은 머리 부분 2개 시점과 좌우 손 부분 각 2개 시점, 총 6개 시점의 영상을 제공하며, 여기에 양손 끝단의 6DoF 포즈와 연속적인 그리퍼 개폐량을 결합했습니다.

이를 통해 작업자의 전체 시야뿐 아니라 물체를 잡고 이동하거나 양손으로 협력해 작업하는 세부적인 조작 과정까지 함께 학습할 수 있습니다.

또한 30fps 영상과 30Hz 상태 데이터를 프레임 단위로 연결했으며, 평균 동기화 오차는 영상 간 5ms 이하, 상태 데이터와 영상 간 10ms 이하입니다. 양손 끝단의 6DoF 포즈는 몸통 좌표계와 글로벌 좌표계 기준으로 모두 제공합니다.

작업 전체부터 세부 동작까지 연결된 어노테이션

일상적인 로봇 작업은 하나의 동작이 아니라 여러 단계의 조작이 연속적으로 이어지는 형태로 이루어집니다.

본 데이터셋은 에피소드 전체의 작업을 설명하는 상위 태스크 어노테이션과 각 작업의 시작·종료 시점을 기록한 서브태스크 어노테이션을 함께 제공합니다. 에피소드당 평균 길이는 약 3.2분이며, 평균 약 20개의 서브태스크가 포함됩니다.

또한 장면 8종, 대상 물체 13종, 동작 30종에 대한 태그를 제공해 학습 및 평가 목적에 따라 데이터를 구성할 수 있습니다. 이를 통해 단일 조작 동작뿐 아니라 준비부터 조작, 마무리까지 이어지는 장기 작업과 행동 순서를 학습하는 데 활용할 수 있습니다.

VLA·모방학습 및 로봇 행동 생성에 활용

작업에 대한 언어 설명과 시각 정보, 조작 궤적을 함께 제공하기 때문에 VLA 모델의 사전 학습 및 파인튜닝에 활용할 수 있습니다. 또한 양손 끝단의 자세 정보와 그리퍼 개폐량을 학습 신호로 활용해 Behavior Cloning, Diffusion Policy 등 모방학습 기반의 로봇 정책 연구에도 적용할 수 있습니다.

머리 부분의 넓은 시야와 손 부분의 근접 시야를 함께 활용하면 작업 전체의 맥락과 물체를 잡거나 접촉하는 세부 과정을 동시에 학습할 수 있어, 손과 물체의 상호작용 및 다중 시점 표현 학습 등 다양한 Physical AI 연구에 활용할 수 있습니다.

데이터셋 주요 사양

항목

내용

제공 형태

상용 이용이 가능한 유료 데이터셋

공개 데이터 규모

유효 영상 약 50,000시간 / 약 132만 개 에피소드 / 약 2,716만 개 서브태스크

수집 환경

실제 가정환경의 청소, 정리, 수납, 조리 등 일상 작업

영상 구성

머리 부분 2개 시점, 좌우 손 부분 각 2개 시점, 총 6개 시점

영상 해상도 및 프레임 속도

머리 부분: 1,408 × 1,280 / 손 부분: 640 × 480 / 30fps

주요 실측 데이터

양손 끝단의 6DoF 포즈, 그리퍼 개폐량, 몸통 자세 정보

좌표계

몸통 좌표계 및 글로벌 좌표계 기준 포즈 제공

동기화

영상 간 평균 동기화 오차 5ms 이하 / 상태 데이터와 영상 간 10ms 이하

어노테이션

상위 태스크 설명, 타임스탬프가 포함된 서브태스크, 장면·대상 물체·동작 태그

데이터 형식

LeRobot v2.1 (Parquet 및 MP4 / H.264)

평가용 샘플

동작·대상 물체·장면별 총 30개 에피소드

넥스데이타코리아는 이번 UMI 데이터셋 공개를 통해 Physical AI 모델 학습에 필요한 실제 환경의 조작 경험 데이터를 제공하고, VLA 및 로봇 조작 모델 개발을 위한 데이터 활용 범위를 확대해 나갈 계획입니다.


상세 데이터 구성과 샘플, 이용 조건은 제품 페이지에서 확인하실 수 있습니다.

5만 시단 UMI 임베디드 AI 조작 데이터

165c01ee-9dbf-4bed-bd40-e24bf34dfc16