Volver a guías

Robotics, Physical AI, and Synthetic Data

Datos sintéticos para Physical AI industrial y robótica

Guía práctica para usar gemelos digitales ejecutables, semántica de escenas industriales, simulación de sensores y datos sintéticos etiquetados en flujos Physical AI y robótica.

Datos sintéticos para Physical AI industrial y robótica

Por qué los datos sintéticos industriales necesitan un gemelo

Los datos reales de robots tienen mucho valor. En entornos industriales, recopilar, repetir y cubrir estados operativos exige bastante esfuerzo. Las instalaciones incluyen estados de cola larga: pasillos bloqueados, pallets movidos, gabinetes abiertos, iluminación variable, movimiento de personas, cambios de turno y estados breves de equipos.

Los datos sintéticos ayudan a cubrir esa variación en un entorno controlado. Para Physical AI industrial, los datos deben salir de una escena que entienda activos, geometría, reglas operativas, posiciones de sensores, objetivos de tarea y estado de proceso. El gemelo digital aporta ese contexto.

DataMesh Robotics usa el stack DataMesh para preparar escenas industriales, generar datos multimodales y conectar salidas con simulación robótica y flujos de entrenamiento.

Qué hace diferente a una escena industrial

CapaQué necesita el pipeline
Identidad de activosNombres de equipos, tipos de objetos, versiones de modelo y vínculo al gemelo operativo
Contexto espacialZonas, carriles, áreas de acceso, holguras, coordenadas y zonas de seguridad
Estado de procesoEstado de línea, estación, paso de trabajo, excepción y timing de eventos
Configuración de sensoresCámara, profundidad, LiDAR, pose del robot, campo de visión, calibración, ruido y muestreo
Propiedades físicasMasa, fricción, articulaciones, restricciones, materiales e hipótesis de contacto
Etiquetas y metadatosSegmentación, bounding boxes, IDs de instancia, profundidad, pose, trayectoria, estado de tarea y variables de escena
Registros de revisiónVersión del dataset, versión de escena, supuestos, receta de generación, hallazgos de calidad y aprobación

Esta estructura ayuda a explicar qué representa un dataset y cómo ajustarlo.

Flujo DataMesh

  1. Modelar el entorno - Construir fábrica, facility, almacén, celda o área de inspección en FactVerse con activos, zonas, metadatos y relaciones.
  2. Crear comportamiento de escena - Definir variantes de layout, lógica de proceso, movimiento de objetos, pasos, eventos y timing en FactVerse Designer.
  3. Preparar activos de simulación - Alinear CAD, BIM, 3D, OpenUSD, materiales, escala, coordenadas y reglas SimReady.
  4. Configurar sensores y tareas - Definir cámaras, sensores de profundidad, vistas del robot, objetos objetivo, metas, criterios de éxito y restricciones.
  5. Generar datos etiquetados - Producir RGB, profundidad, segmentación, bounding boxes, IDs, poses, trayectorias, estado de proceso y metadatos.
  6. Exportar a stacks de entrenamiento - Empaquetar datasets y escenas para entrenamiento robótico, evaluación, Isaac Sim / Omniverse o toolchains empresariales.
  7. Revisar e iterar - Seguir calidad, cobertura de escena, consistencia de etiquetas, cobertura de tareas y resultados downstream.

Rol del stack DataMesh

FactVerse mantiene estructura del sitio, activos, relaciones, contexto de datos, permisos y registros de escena.

FactVerse Twin Engine ofrece contexto runtime para gemelos ejecutables: geometría, data binding, comportamiento y estado de interacción.

FactVerse Designer crea layouts, lógica de proceso, behavior trees, pasos de tarea y variantes de escenario.

DataMesh Robotics cubre datos sintéticos, salida de etiquetas, definición de tareas, reward setup y preparación de pipelines robóticos.

FactVerse Adaptor for NVIDIA Omniverse conecta escenas FactVerse con flujos OpenUSD y Omniverse para renderizado, simulación de sensores, validación física y herramientas externas.

Data Fusion Services conecta datos en vivo e históricos cuando la escena necesita estado de equipos, alarmas, señales de producción o contexto de facility.

Checklist de especificación de dataset

  • Robot, sensor, familia de modelo o stack de entrenamiento objetivo.
  • Alcance del entorno, versión de escena, lista de activos y coordenadas.
  • Alcance de tareas, objetos objetivo, estados de proceso y criterios de éxito.
  • Configuración de sensores, rutas de cámara, vistas, calibración y ruido.
  • Reglas de variación para luz, materiales, ubicación de objetos, estado de equipos, rutas y timing.
  • Salidas requeridas: RGB, profundidad, segmentación, bounding boxes, pose, trayectoria y metadatos.
  • Controles de calidad para etiquetas, clases, precisión espacial y cobertura.
  • Formato de exportación, reglas de nombres, versión del dataset y responsable de revisión.

Puntos de partida prácticos

  • Datasets de percepción: imágenes etiquetadas y profundidad para objetos industriales, equipos, herramientas, pallets, señalización, fixtures y zonas de trabajo.
  • Inspección: vistas y etiquetas para activos, paneles, medidores, tuberías, gabinetes y áreas difíciles.
  • Robots móviles: carriles, obstáculos, estado de rutas, staging areas, puntos de docking y condiciones cambiantes.
  • Manipulación y contacto: pose de objetos, materiales, restricciones de agarre, estado de contacto y secuencia de tareas.
  • Planificación de fábrica y almacén: variantes de layout, flujo de materiales, rutas robóticas y restricciones operativas antes de pruebas físicas.

Métricas de calidad y gobernanza

  • Cobertura por área objetivo, clase de objeto y estado de proceso.
  • Consistencia de etiquetas entre frames y versiones de escena.
  • Variación de luz, ubicación, oclusión, estado de objetos y pose de sensores.
  • Consistencia física de escala, colisión, contacto, ruta y timing.
  • Calidad de integración en simulador o stack de entrenamiento.
  • Trazabilidad desde versión de dataset hacia escena, receta y supuestos.
  • Aprendizajes de evaluación de modelo o revisión de simulación robótica.

Referencias públicas

El lanzamiento de DataMesh Robotics presenta la dirección pública de datos sintéticos, gemelos industriales ejecutables, objetivos de tarea, reward setup y pipelines robóticos.

El showcase GTC 2025 muestra gemelos de simulación DataMesh con FactVerse y NVIDIA Omniverse.

El artículo FactVerse y NVIDIA Omniverse explica cómo el contexto de escena FactVerse se conecta con workflows Omniverse.