Warum synthetische Daten einen Digital Twin brauchen
Reale Robotikdaten sind wertvoll. In industriellen Umgebungen sind Erfassung, Wiederholung und Abdeckung vieler Betriebszustände jedoch aufwendig. Anlagen enthalten viele seltene Zustände: blockierte Wege, veränderte Palettenpositionen, geöffnete Schränke, wechselnde Beleuchtung, Personenbewegung, Schichtwechsel und kurzzeitig auftretende Gerätezustände.
Synthetische Daten helfen Teams, diese Variation kontrolliert abzudecken. Für industrielle Physical AI sollten Daten aus einer Szene kommen, die Assets, Geometrie, Betriebsregeln, Sensorpositionen, Aufgabenziele und Prozessstatus kennt. Der digitale Zwilling liefert diesen Kontext für die Datenpipeline.
DataMesh Robotics nutzt den DataMesh Stack, um industrielle Szenen vorzubereiten, multimodale Trainingsdaten zu erzeugen und Ausgaben mit Robotiksimulation und Trainingsworkflows zu verbinden.
Was industrielle Szenen auszeichnet
| Ebene | Was die Pipeline braucht |
|---|---|
| Asset-Identität | Equipment-Namen, Objekttypen, Modellversionen und Rückbezug zum operativen Twin |
| Räumlicher Kontext | Zonen, Wege, Zugangsbereiche, Abstände, Koordinaten und Sicherheitsbereiche |
| Prozessstatus | Linienstatus, Stationsstatus, Arbeitsschritt, Ausnahmezustand und Ereigniszeit |
| Sensoraufbau | Kamera, Tiefe, LiDAR, Roboterpose, Sichtfeld, Kalibrierung, Rauschmodell und Sampling-Regeln |
| Physische Eigenschaften | Masse, Reibung, Gelenke, Constraints, Materialverhalten und Kontaktannahmen |
| Labels und Metadaten | Segmentierung, Bounding Boxes, Instanz-IDs, Tiefe, Pose, Trajektorie, Aufgabenstatus und Szenenvariablen |
| Review-Daten | Dataset-Version, Szenenversion, Annahmen, Generierungsrezept, Qualitätsbefunde und Freigaben |
Diese Struktur macht sichtbar, welche Situation ein Dataset repräsentiert und wie es angepasst werden kann.
DataMesh Workflow
- Umgebung modellieren - Fabrik, Facility, Lager, Workcell oder Inspektionsbereich in FactVerse mit Assets, Zonen, Metadaten und Beziehungen aufbauen.
- Szenenverhalten erstellen - Layoutvarianten, Prozesslogik, Objektbewegung, Aufgabenschritte, Ereignisse und Timing in FactVerse Designer definieren.
- Simulationsassets vorbereiten - CAD, BIM, 3D, OpenUSD, Materialien, Skalierung, Koordinatensysteme und SimReady-Regeln ausrichten.
- Sensoren und Aufgaben konfigurieren - Kameras, Tiefensensoren, Roboteransichten, Zielobjekte, Ziele, Erfolgskriterien und Constraints definieren.
- Gelabelte Daten generieren - RGB, Tiefe, Segmentierung, Bounding Boxes, Instanz-IDs, Posen, Trajektorien, Prozessstatus und Szenenmetadaten erzeugen.
- In Trainingsstacks exportieren - Datasets und Szenenassets für Robotiktraining, Evaluation, Isaac Sim / Omniverse oder Enterprise-Toolchains paketieren.
- Prüfen und iterieren - Datenqualität, Szenenabdeckung, Label-Konsistenz, Aufgabenabdeckung und Downstream-Ergebnisse verfolgen.
Rollen im DataMesh Stack
FactVerse hält die operative Twin-Grundlage mit Standortstruktur, Assets, Beziehungen, Datenkontext, Berechtigungen und Szenenaufzeichnungen.
FactVerse Twin Engine stellt Runtime-Kontext für ausführbare Twins bereit: Geometrie, Datenbindung, Verhalten und Interaktionszustand.
FactVerse Designer ist die Authoring-Umgebung für Layouts, Prozesslogik, Behavior Trees, Aufgabenschritte und Szenariovarianten.
DataMesh Robotics konzentriert sich auf synthetische Daten, Label-Ausgabe, Aufgabendefinition, Reward-Setup und Vorbereitung von Robotikpipelines.
FactVerse Adaptor for NVIDIA Omniverse verbindet FactVerse-Szenen mit OpenUSD- und Omniverse-Workflows für Rendering, Sensorsimulation, Physikvalidierung und externe Simulationstools.
Data Fusion Services bindet Live- und Historiendaten ein, wenn Gerätezustand, Alarme, Produktionssignale oder Facility-Kontext gebraucht werden.
Dataset-Spezifikation
- Zielroboter, Sensor, Modellfamilie oder Trainingsstack.
- Umgebung, Szenenversion, Asset-Liste und Koordinatensystem.
- Aufgabenbereich, Zielobjekte, Prozesszustände und Erfolgskriterien.
- Sensoraufbau, Kamerapfade, Ansichten, Kalibrierung und Rauschannahmen.
- Variationsregeln für Licht, Materialien, Objektplatzierung, Gerätezustand, Route und Timing.
- Ausgaben wie RGB, Tiefe, Segmentierung, Bounding Boxes, Pose, Trajektorie und Szenenmetadaten.
- Qualitätsprüfungen für Label-Konsistenz, Klassenabdeckung, räumliche Genauigkeit und Szenenabdeckung.
- Exportformat, Namensregeln, Dataset-Version und Review Owner.
Gute Startpunkte
- Wahrnehmungsdatasets: gelabelte Bilder und Tiefendaten für Industrieobjekte, Equipment, Werkzeuge, Paletten, Schilder, Vorrichtungen und Arbeitszonen.
- Inspektionsworkflows: Ansichten und Labels für Assets, Panels, Anzeigen, Rohre, Schränke und schwer erreichbare Bereiche.
- Mobile Robotik: Wege, Hindernisse, Routenstatus, Staging Areas, Dockingpunkte und wechselnde Facility-Bedingungen.
- Manipulation und Kontakt: Objektpose, Materialverhalten, Greifconstraints, Kontaktzustand und Task-Sequenz für Review.
- Fabrik- und Lagerplanung: Layoutvarianten, Materialfluss, Robotikpfade und Betriebsconstraints vor physischen Tests kombinieren.
Qualitäts- und Governance-Metriken
- Szenenabdeckung nach Zielbereich, Objektklasse und Prozessstatus.
- Label-Konsistenz über Frames und Szenenversionen.
- Variation bei Licht, Platzierung, Verdeckung, Objektzustand und Sensorpose.
- Physische Konsistenz bei Skalierung, Kollision, Kontakt, Route und Timing.
- Integrationsqualität im Downstream-Simulator oder Trainingsstack.
- Rückverfolgbarkeit von Dataset-Version zu Szene, Generierungsrezept und Annahmen.
- Erkenntnisse aus Modellbewertung oder Robotiksimulation.
Öffentliche Referenzen
Der DataMesh Robotics Launch beschreibt die öffentliche Richtung für synthetische Trainingsdaten, ausführbare industrielle Twins, Aufgabenziele, Reward-Setup und Robotikpipelines.
Der GTC 2025 Showcase zeigt DataMesh Simulations-Digital-Twins im Kontext von FactVerse und NVIDIA Omniverse.
Der FactVerse und NVIDIA Omniverse Artikel erklärt, wie FactVerse-Szenenkontext mit Omniverse-Workflows verbunden wird.