복잡한 도로 환경을 반영한 자율주행 장애물 데이터 구축 사례 공개

자율주행 인지 모델의 학습에는 객체를 식별하는 것뿐만 아니라 객체의 위치와 크기, 클래스, 속성, 공간적 관계 및 시간에 따른 움직임을 이해할 수 있는 데이터가 필요합니다. 특히 복잡한 도로 환경에서는 카메라 영상과 포인트 클라우드(Point Cloud)를 함께 활용하고, 여러 프레임에 걸쳐 객체 정보를 일관되게 관리하는 데이터 어노테이션이 중요합니다.

넥스데이타코리아는 이러한 요구에 대응하기 위해 고객사의 다중 카메라 영상과 융합 포인트 클라우드를 활용한 자율주행 장애물 어노테이션 프로젝트를 지원했습니다. 본 프로젝트에서는 2D·3D 객체 어노테이션, 연속 프레임 트래킹, 객체 속성 및 장면 정보 어노테이션을 수행하고, 세부적인 품질 기준을 적용해 자율주행 인지 모델 학습에 활용할 수 있는 다차원 데이터를 구축했습니다.

1. 프로젝트 과제: 다중 센서 환경에서의 정밀한 객체 어노테이션

본 프로젝트는 7개의 핀홀 카메라, 4개의 어안 카메라 및 1개의 융합 포인트 클라우드 데이터를 활용하는 작업으로, 서로 다른 센서 데이터에서 동일한 객체를 식별하고 공간적 관계를 일관되게 표현해야 했습니다.

주요 과제는 다음과 같습니다.

다중 센서 데이터 연계: 여러 카메라 영상과 포인트 클라우드에서 동일 객체를 식별하고 대응 관계를 설정해야 합니다.
2D·3D 공동 어노테이션: 포인트 클라우드에서 3D 객체 박스를 설정한 뒤, 영상에 투영해 위치를 조정하고 각 카메라 영상의 2D 박스와 연결해야 합니다.
연속 프레임 트래킹: 하나의 클립은 200프레임, 초당 10프레임(10fps)으로 구성되며, 동일 객체가 여러 프레임에 걸쳐 일관된 ID를 유지하도록 관리해야 합니다.
복잡한 객체 및 장면 처리: 동적·정적 장애물, 가림이 발생한 객체, 대형 화물차, 초장축 세미트레일러, 초장축 버스 및 회전·유턴 상황 등 다양한 조건에 맞춰 세부 어노테이션 규칙을 적용해야 합니다.

2. 넥스데이타의 솔루션: 2D·3D 공동 어노테이션과 연속 프레임 트래킹

넥스데이타는 다중 카메라 영상과 융합 포인트 클라우드를 연계해 객체의 공간 정보와 영상 정보를 함께 표현하는 어노테이션 작업을 수행했습니다.

포인트 클라우드 기반 3D 객체 어노테이션

먼저 포인트 클라우드를 기준으로 객체의 3D 박스를 설정하고, 객체의 실제 위치와 크기에 맞춰 조정했습니다. 이후 해당 3D 박스를 영상에 투영해 위치를 보정하고, 각 영상에서 객체를 둘러싸는 2D 박스를 설정해 3D 객체와 연결했습니다. 이를 통해 포인트 클라우드의 공간 정보와 카메라 영상의 시각 정보를 함께 활용할 수 있도록 했습니다.

동적·정적 장애물 및 복잡한 차량 구조 처리

장애물의 동적·정적 특성과 객체별 속성을 고려해 차별화된 어노테이션 규칙을 적용했습니다. 대형 화물차, 초장축 세미트레일러 및 초장축 버스와 같이 차체가 길거나 구조가 복잡한 객체는 전체 객체를 표현하는 박스와 여러 개의 하위 객체 박스를 구분해 적용했습니다. 또한 회전이나 유턴 과정에서 차체가 꺾이는 경우에는 일반적인 방식으로 전체 객체를 표현하기 어려울 수 있으므로, 해당 구조의 특성을 고려한 별도 규칙을 적용했습니다.

연속 프레임 기반 객체 트래킹

본 프로젝트는 클립당 200프레임, 10fps 기준으로 연속 프레임 어노테이션을 수행했습니다. 동일 객체가 프레임 간 일관된 ID를 유지하도록 연결하고, 객체가 일정 시간 이상 화면에서 사라지는 경우에는 프로젝트 규칙에 따라 ID를 처리했습니다.

3. 품질 관리: 명확한 정밀도 및 정확도 기준 적용

다중 센서 기반 어노테이션에서는 객체 위치의 정밀도뿐 아니라 클래스, 속성 및 장면 정보의 정확성도 중요합니다. 넥스데이타는 본 프로젝트에서 항목별 품질 기준을 적용했습니다.

3D 어노테이션: 객체의 길이와 너비, 중심점 좌표의 오차를 5cm 이내로 관리
2D 어노테이션: 바운딩 박스 네 변의 위치 오차를 5픽셀 이내로 관리
클래스·속성·장면 정보: 어노테이션 정확도 99% 초과 기준 적용

4. 자율주행 인지 모델을 위한 넥스데이타의 데이터 서비스

넥스데이타코리아는 고객의 요구사항과 프로젝트 기준에 맞춰 다중 센서 데이터 처리, 2D·3D 공동 어노테이션, 객체 트래킹, 속성 및 장면 정보 어노테이션 등의 서비스를 제공합니다. 또한 전문 프로젝트 매니저가 프로젝트 진행 상황을 관리하고, 각 단계에서 품질 검수를 진행합니다. 고객의 피드백과 변경 요청에도 신속하게 대응하고, 필요한 작업 조정을 통해 품질을 유지하면서 일정에 맞춰 프로젝트를 수행할 수 있도록 지원합니다. 표준 데이터셋부터 프로젝트별 맞춤형 데이터 구축까지, 자율주행 및 지능형 교통 분야의 다양한 AI 학습 데이터 수요에 대응하고 있습니다.