Pourquoi les données synthétiques industrielles ont besoin d'un jumeau
Les données robot réelles ont une forte valeur. En environnement industriel, la collecte, la répétition et la couverture de nombreux états d'exploitation demandent beaucoup d'effort. Les sites contiennent des états rares: allées bloquées, palettes déplacées, armoires ouvertes, éclairage variable, circulation humaine, changements de shift et états d'équipement brefs.
Les données synthétiques aident les équipes à couvrir cette variation dans un cadre contrôlé. Pour Physical AI industriel, les données doivent venir d'une scène qui comprend actifs, géométrie, règles d'exploitation, positions capteurs, objectifs de tâche et état processus. Le jumeau numérique fournit ce contexte.
DataMesh Robotics utilise le stack DataMesh pour préparer les scènes industrielles, générer des données multimodales et connecter les sorties aux workflows de simulation et d'entraînement robotique.
Ce qui distingue les scènes industrielles
| Couche | Besoin de la pipeline |
|---|---|
| Identité des actifs | Noms d'équipements, types d'objets, versions de modèles et lien vers le jumeau opérationnel |
| Contexte spatial | Zones, voies, accès, dégagements, coordonnées et zones de sécurité |
| État processus | État de ligne, poste, étape de travail, exception et timing d'événement |
| Configuration capteur | Caméra, profondeur, LiDAR, pose robot, champ de vision, calibration, bruit et règles d'échantillonnage |
| Propriétés physiques | Masse, friction, articulations, contraintes, matériaux et hypothèses de contact |
| Labels et métadonnées | Segmentation, bounding boxes, IDs instance, profondeur, pose, trajectoire, état tâche et variables de scène |
| Traces de revue | Version dataset, version scène, hypothèses, recette de génération, résultats qualité et notes d'approbation |
Cette structure rend le dataset explicable, reproductible et ajustable.
Workflow DataMesh
- Modéliser l'environnement - Construire usine, facility, entrepôt, cellule ou zone d'inspection dans FactVerse avec actifs, zones, métadonnées et relations.
- Créer le comportement de scène - Définir variantes de layout, logique processus, mouvement objet, étapes, événements et timing dans FactVerse Designer.
- Préparer les assets de simulation - Aligner CAD, BIM, 3D, OpenUSD, matériaux, échelle, coordonnées et règles SimReady.
- Configurer capteurs et tâches - Définir caméras, capteurs profondeur, vues robot, objets cibles, objectifs, critères de succès et contraintes.
- Générer les données labellisées - Produire RGB, profondeur, segmentation, bounding boxes, IDs, poses, trajectoires, état processus et métadonnées.
- Exporter vers les stacks d'entraînement - Packager datasets et scènes pour entraînement robotique, évaluation, Isaac Sim / Omniverse ou outils enterprise.
- Revoir et itérer - Suivre qualité, couverture de scène, cohérence des labels, couverture tâche et résultats downstream.
Rôle du stack DataMesh
FactVerse conserve structure de site, actifs, relations, contexte de données, permissions et enregistrements de scène.
FactVerse Twin Engine fournit le contexte runtime pour les twins exécutables: géométrie, data binding, comportement et état d'interaction.
FactVerse Designer sert à créer layouts, logique processus, behavior trees, étapes de tâche et variantes.
DataMesh Robotics couvre génération de données synthétiques, sortie de labels, définition des tâches, reward setup et préparation des pipelines robotique.
FactVerse Adaptor for NVIDIA Omniverse relie les scènes FactVerse aux workflows OpenUSD et Omniverse pour rendu, simulation de capteurs, validation physique et outils externes.
Data Fusion Services connecte données live et historiques quand la scène a besoin d'états d'équipement, alarmes, signaux production ou contexte facility.
Checklist de spécification dataset
- Robot, capteur, famille de modèle ou stack d'entraînement cible.
- Périmètre environnement, version scène, liste d'assets et coordonnées.
- Tâches, objets cibles, états processus et critères de succès.
- Configuration capteur, chemins caméra, vues, calibration et bruit.
- Règles de variation pour lumière, matériaux, placement, état équipement, routes et timing.
- Sorties requises: RGB, profondeur, segmentation, bounding boxes, pose, trajectoire et métadonnées.
- Contrôles qualité sur labels, classes, précision spatiale et couverture.
- Format d'export, règles de nommage, version dataset et responsable de revue.
Bons points de départ
- Datasets perception: images labellisées et profondeur pour objets industriels, équipements, outils, palettes, panneaux, fixtures et zones de travail.
- Inspection: vues et labels pour actifs, panneaux, jauges, tuyaux, armoires et zones difficiles d'accès.
- Robotique mobile: voies, obstacles, état route, staging areas, points de docking et conditions facility changeantes.
- Manipulation et contact: pose objet, matériaux, contraintes de prise, état de contact et séquence de tâche.
- Planification usine et entrepôt: variantes layout, flux matière, chemins robot et contraintes opérationnelles avant essais physiques.
Métriques qualité et gouvernance
- Couverture par zone, classe objet et état processus.
- Cohérence des labels entre frames et versions de scène.
- Variation de lumière, placement, occlusion, état objet et pose capteur.
- Cohérence physique sur échelle, collision, contact, route et timing.
- Qualité d'intégration dans le simulateur ou stack d'entraînement.
- Traçabilité de version dataset vers scène, recette et hypothèses.
- Enseignements issus de l'évaluation modèle ou de la revue de simulation robotique.
Références publiques
Le lancement DataMesh Robotics présente la direction publique pour données synthétiques, twins industriels exécutables, objectifs de tâche, reward setup et pipelines robotique.
Le showcase GTC 2025 montre les jumeaux de simulation DataMesh avec FactVerse et NVIDIA Omniverse.
L'article FactVerse et NVIDIA Omniverse explique le lien entre contexte de scène FactVerse et workflows Omniverse.