로봇에는 산업 맥락을 가진 훈련장이 필요합니다
로봇 학습은 가상 환경이 실제 현장의 운영 맥락을 담을 때 더 좋아집니다. 유용한 가상 훈련장에는 기하, 자산 ID, 스케일, 재질, 충돌 경계, 작업 단계, 센서 설정, 공정 상태, 안전 구역, 일상 작업의 변동이 필요합니다.
SimReady 자산은 재사용 가능한 시뮬레이션 준비 객체입니다. FactVerse Designer는 이 객체들을 가상 공장, 창고, 로봇 셀, 점검 구역, 클린룸, 물류 경로로 구성하고 행동 로직과 시나리오 변형을 추가합니다. DataMesh Robotics는 장면을 합성 데이터, 작업 정의, 보상 설정, 하위 로봇 시뮬레이션 흐름에 연결합니다.
목표는 sim-to-real 반복을 빠르게 만드는 것입니다. 더 나은 디지털 세계를 만들고, 더 많은 작업 변형을 시험하고, 시뮬레이션과 현장 시험을 비교하고, 실제 증거로 장면을 개선합니다.
산업 현장의 sim-to-real 난점
| 계층 | 로봇 동작에 영향 |
|---|---|
| 기하 | 통로 폭, 설비 위치, 랙, 여유 공간, 바닥 경사, 작업 범위 |
| 재질 | 반사, 투명도, 마찰, 마모, 포장 질감, 조명 반응 |
| 센서 | 카메라 자세, 시야, 보정, 가림, 노이즈, 깊이 품질, LiDAR |
| 공정 상태 | 기계 상태, 이동 부품, 막힌 경로, 팔레트 위치, 작업 단계 |
| 의미 정보 | 객체 클래스, 자산 ID, 안전 구역, 작업 역할, 경로 유형 |
| 사람 맥락 | 작업자 이동, 유지보수 접근, 지게차 흐름, 제한 구역, 교대 |
| 제어 제약 | 속도 제한, 정지 규칙, 인계 타이밍, 인터록, 복구 |
좋은 준비는 이 계층을 명확히 표현해 물리 시험 전에 변수를 조정하게 합니다.
SimReady 자산은 훈련 구성 요소입니다
로봇 훈련에 유용한 자산은 다음을 포함합니다.
- 스케일, 원점, 방향, 충돌 기하
- 인식 훈련용 재질과 조명 반응
- 의미 클래스, 자산 ID, 기능 역할, 장면 관계
- 마찰, 질량, 관절 범위, 운동 제한
- 열림, 닫힘, 막힘, 운전, 정지, 알람, 유지보수 상태
- 파지점, 점검 목표, 도킹 영역, 안전 접근 구역
- 시뮬레이션 결과를 자산 라이브러리로 연결하는 버전 기록
이렇게 준비하면 훈련 장면을 재현하고 조정하고 검토하기 쉽습니다.
Designer가 가상 훈련장을 만듭니다
Designer는 다음을 준비합니다.
- 시설, 생산 라인, 창고, 로봇 셀, 점검 경로 레이아웃
- 기계 상태, 객체 이동, 작업 순서, 예외 처리를 위한 행동 트리
- 시작, 정지, 막힘, 복구, 경로 변경, 인계 이벤트의 타임라인
- 신규 설비, 통로, 버퍼, 랙, 컨베이어, 지그에 대한 레이아웃 변형
- 인식, 점검, 이동, 작업자 검토를 위한 센서와 시점 계획
- 합성 데이터와 하위 시뮬레이션 도구에 사용할 장면 라이브러리
로봇, 운영, 시뮬레이션 팀이 같은 환경을 검토할 수 있습니다.
DataMesh sim-to-real 흐름
- 작업 선택 - 로봇, 환경, 센서, 목표, 안전 경계, 지표를 정의합니다.
- SimReady 자산 준비 - CAD, BIM, 3D, 스캔, 운영 기록을 스케일, 의미, 물리, 상태가 있는 자산으로 변환합니다.
- 가상 훈련장 구축 - Designer로 레이아웃, 공정 흐름, 경로, 행동, 변형을 구성합니다.
- 변화 규칙 정의 - 조명, 배치, 상태, 경로 막힘, 재질, 센서 자세, 타이밍을 바꿉니다.
- 훈련 데이터 생성 - RGB, 깊이, 분할, 박스, 자세, 궤적, 장면 상태, 메타데이터를 생성합니다.
- 시뮬레이션 평가 - 로봇 훈련, Isaac Sim / Omniverse, 기타 스택으로 내보냅니다.
- 현장 시험 비교 - 물리 시험, 작업자 메모, 실패, 센서 로그로 차이를 찾습니다.
- 장면과 라이브러리 업데이트 - 기하, 재질, 물리, 라벨, 행동, 변화 규칙을 조정합니다.
전환 품질이 좋아지는 영역
- 인식 - 조명, 재질, 가림, 자세, 거리, 배경 변화를 포함한 라벨 샘플을 만듭니다.
- 이동 - 경로, 막힌 통로, 버퍼, 도킹, 사람 이동, 안전 구역을 시험합니다.
- 조작 - 객체 자세, 파지 목표, 지그, 접촉면, 마찰, 인계 타이밍을 바꿉니다.
- 점검 - 시점, 대상 자산, 결함 상태, 패널 위치, 계기 값, 접근 제약을 표준화합니다.
- 복구 - 고장, 막힌 경로, 누락 객체, 알람, 비상 정지, 재시작 조건을 재현합니다.
- 운영 검토 - 물리 시험 전에 로봇, 안전, 시설, 생산 팀이 같은 장면을 봅니다.
측정 항목
| 영역 | 예시 |
|---|---|
| 데이터 | 클래스 범위, 라벨 일관성, 자세 분포, 가림, 조명 |
| 시뮬레이션 | 스케일, 충돌, 재질, 센서, 경로 시간, 상태 |
| 작업 | 성공률, 시간, 개입, 복구율, 실패 유형 |
| 전환 | 시뮬레이션과 현장 차이, 반복 실패, 현장 수정 |
| 거버넌스 | 장면 버전, 자산 버전, 생성 규칙, 검토자, 승인 |
제품 역할
DataMesh Robotics는 합성 데이터, 작업, 라벨, 보상, 파이프라인 통합을 담당합니다.
FactVerse Designer는 레이아웃, 행동 트리, 타임라인, 시나리오, 변형을 가진 가상 훈련장을 준비합니다.
FactVerse Adaptor for NVIDIA Omniverse는 FactVerse 장면을 OpenUSD와 Omniverse로 연결해 렌더링, 물리, 센서, 로봇 도구에 사용합니다.
FactVerse와 FactVerse Twin Engine은 자산, 공간, 시스템, 메타데이터, 권한, 장면 기록을 유지합니다.
체크리스트
- 작업에 성공 지표와 안전 경계가 있습니까?
- 환경, 자산, 경로, 공정 상태가 정해졌습니까?
- SimReady 자산에 스케일, 의미, 물리, 상태가 있습니까?
- Designer 장면이 작업, 변형, 검토 목적별로 정리되었습니까?
- 센서, 시점, 보정, 노이즈가 기록되었습니까?
- 변화 규칙이 실제 현장 조건에서 왔습니까?
- 출력과 라벨이 생성 전에 정의되었습니까?
- 결과를 장면과 자산 버전으로 추적할 수 있습니까?
공개 참고 자료
DataMesh Robotics 발표는 합성 훈련 데이터, 작업, 보상, 로봇 파이프라인 준비 방향을 설명합니다.
SimReady 자산 가이드는 산업 자산이 기하, 의미, 물리, 행동, 데이터를 담는 방식을 설명합니다.
합성 데이터 가이드는 더 넓은 데이터 생성 파이프라인을 다룹니다.