[신규 데이터]넥스데이타코리아, Physical AI 개발 위한 1인칭·3D 공간 데이터 공개

실제 환경에서 작동하는 Physical AI를 개발하기 위해서는 사람의 작업 과정과 행동을 이해할 수 있는 데이터뿐만 아니라, 다양한 현실 공간과 오브젝트를 학습할 수 있는 3D 데이터가 필요합니다. 넥스데이타는 이러한 데이터 수요에 대응하기 위해 **1만 시간 규모의 6카메라 Ego-Centric 데이터와 1억 세트 3D 공간·오브젝트 데이터를 새롭게 구축했습니다.

두 데이터는 실제 환경에서 확보한 대규모 데이터를 기반으로 Physical AI, 공간 지능 및 로봇 학습과 시뮬레이션 등 다양한 AI 개발에 활용할 수 있도록 구성했습니다.

10,000시간 6카메라 장비 수집한 Ego 임베디드 AI 데이터셋

넥스데이타의 1만 시간 다중 시나리오 Ego-Centric 학습 데이터는 실제 환경에서 숙련된 작업자가 다양한 작업을 수행하는 과정을 6카메라 시스템으로 수집하고, 이를 Task와 Action 단위로 체계화한 데이터입니다.

특히 가정과 사무실뿐만 아니라 산업·서비스·의료·교육·농업 등 25개 이상의 실제 환경에서 수집한 작업 데이터를 포함하고 있어 다양한 상황에서 나타나는 사람의 움직임과 작업 방식을 학습하는 데 활용할 수 있습니다. 각 수집 지점의 단일 작업 시간은 최대 4시간을 넘지 않으며, 실제 숙련 작업자가 직접 수행한 작업을 기반으로 합니다.

각 데이터에는 작업 과정에 대한 텍스트 설명과 행동 구간 정보가 함께 제공되며, 행동의 성공·실패 여부도 구분할 수 있도록 구성했습니다. 또한 영상뿐만 아니라 공간 정보와 손 동작 정보를 함께 제공해 사람의 행동과 주변 환경을 종합적으로 학습할 수 있도록 했습니다.

데이터 구성

구분	주요 내용
데이터 규모	1만 시간 규모 다중 시나리오 Ego-Centric 학습 데이터
수집 환경	공장, 교통, 정비, 의류, 공연·예술, 스포츠, 의료, 레저, 연구실, 미용, 외식, 식품 가공, 호텔, 인쇄, 농업, 건설, 철물, 청소, 창작 작업실, 행정·종합 업무, 에너지·공공서비스, 교육, 육아·돌봄, 가정 등
수집 모달리티	RGB, Fisheye, Depth, IMU, 6DoF Pose, Audio
Task	특정 목적을 달성하기 위해 수행하는 일련의 작업 과정
Action	하나의 Task를 구성하는 개별 행동 단위
행동 구간	Action 단위로 약 0.5초 단위 시간 구간 구분
행동 설명	각 Action에 대한 텍스트 설명 및 성공·실패 여부
공간 데이터	재구성 Point Cloud, Offline SLAM 후처리 궤적
손 데이터	손 동작 Keypoint
Task 정보	Task 설명 및 작업 과정 정보

6카메라 데이터 수집 사양

구분	사양
데이터 수집 장비	1대의 6카메라 수집 장비로 구성
카메라 구성	2대 RGB 카메라 + 4대 Fisheye 카메라
RGB 카메라	1600×1200, 60fps
Fisheye 카메라	640×480, 30fps, 흑백
RGB FOV 구성	수평 118° / 수직 94.8° 또는 수평 159° / 수직 95.2°
셔터 방식	Global Shutter
수집 모달리티	RGB, Fisheye, Depth, IMU, 6DoF Pose, Audio
동기화	하드웨어 트리거 기반 다중 센서 동기화, ≤1ms
카메라 보정	정밀 캘리브레이션 적용
위치 추정	자체 개발 VSLAM 기반 실시간 6DoF Pose 및 공간 위치 추정
공간 위치 정확도	밀리미터급
Reprojection Error	＜1px
SLAM 정확도	APE ≤0.3%, ARE ≤0.5°
Relocalization	≤1.5초

[6카메라 Ego-Centric 데이터 상세 정보 및 관련 사례 확인하기]

1억 세트 3D 장면 및 오브젝트 데이터

넥스데이타는 Physical AI와 공간 지능 개발에 활용할 수 있도록 1억 세트 3D 공간·오브젝트 데이터도 구축했습니다.

전체 데이터는 실제 물리 환경을 디지털화한 공간 데이터와 실제 공간을 기반으로 구축한 시뮬레이션 데이터, 그리고 다양한 실물 오브젝트를 1:1로 모델링한 고품질 3D 자산으로 구성됩니다. 실제 공간과 가상 공간을 함께 활용할 수 있도록 다양한 형태의 3D·영상·공간 정보를 제공하는 것이 특징입니다.

또한 고품질 3D 오브젝트 자산 가운데 일부는 물리 속성과 관절 구조를 포함하고 있어, 단순한 3D 모델을 넘어 상호작용이 가능한 시뮬레이션 자산으로 활용할 수 있습니다.

데이터 구성

구분	데이터 규모	주요 구성
실제 공간 데이터	6,000만 건	3D 모델, Point Cloud, 3DGS, 파노라마, HDR 파노라마, Depth, Raw Fisheye, Pose, 6면도, 다중 시점 공간 이미지, 공간 이동 영상, 객체 인식 데이터, 평면도·CAD, 레이저 반사율, 다중 스펙트럼 데이터 등
시뮬레이션 합성 공간 데이터	4,000만 건	3D 모델, 조명 데이터, 공간·평면 구성 정보, 파노라마 및 다중 시점 이미지, 렌더링 영상·궤적, 공간 이동 궤적, 메타데이터, Depth, World Coordinate, Invalid Area Mask 등
고품질 3D 오브젝트 자산	10만 건	정적·상호작용형 3D 모델, 품목·크기·소재·공간 위치 등 구조화 속성
물리 속성 포함 자산	2,000개	물리 속성을 포함한 3D 오브젝트
상호작용 가능 자산	1,000개	관절 구조를 포함한 상호작용형 3D 오브젝트

데이터 분포 및 구축 방식

구분	주요 내용
실제 공간 데이터	고정식 레이저 스캐너, 휴대형 실사 스캐너 등을 활용해 실제 물리 환경을 디지털화하고 3D로 재구성
실제 공간 범위	부동산, 외식, 문화·전시, 상업·리테일, 관광·레저, 호텔·숙박, 산업, 업무 공간 등
시뮬레이션 데이터	실제 수집 공간을 기반으로 AI 공간 분석, UE 엔진 렌더링, Blender Export를 통해 구축
시뮬레이션 기반	실제 주거 공간 및 고품질 3D 오브젝트 자산 활용
3D 오브젝트 자산	실제 오브젝트를 1:1 기준으로 수작업 모델링하고 구조화 및 의미 정보 처리
오브젝트 범위	주방·욕실, 조명, 아동용 가구, 가전, 가구, 인테리어 소품, 건축 마감재 등
구조화 정보	품목, 크기, 소재, 공간 위치 등
상호작용 자산	관절, 충돌 및 물리 속성을 포함한 동적 자산으로 구성되며 NVIDIA Isaac Sim에서 활용 가능