データセットライフサイクル
データセットのドラフト、検証、公開、バージョン、廃止、アーカイブを管理します。
利用シーン
- この DFS タスクを実行し、レビュー可能な記録を残す場合。
- ソースデータを下流の運用、AI、レポートワークフローに渡す場合。
- 入力、処理、出力についてプロジェクトチームで共通理解を持つ場合。
ワークフロー
手順
- ドラフト作成
- 品質検証
- バージョン公開
- 影響確認
- 廃止またはアーカイブ
データセットを DFS Lite から昇格する場合は、ソース責任者、コネクター参照、更新頻度、必須フィールド、最新同期証跡、既知のソース制約を引き継ぎます。後続のレビュアーは、この情報を使ってデータセットの目的と再利用条件を判断します。
インポートと再処理の確認
データセットがファイルインポート、コネクタースナップショット、再処理されたソース slice から作られる場合は、検証前に実行件数を比較します。
| 確認項目 | 内容 |
|---|---|
| Accepted rows | 受け入れ行数がソース責任者の想定範囲と一致します。 |
| Rejected rows | 行レベルのエラーが見え、正しい責任者に割り当てられています。 |
| Schema match | 必須フィールド、データ型、列名がデータセット contract と一致します。 |
| ID と時刻フィールド | 資産、設備、イベント、タイムスタンプのフィールドが対象ワークフローを支えます。 |
| Reprocess result | 修正済みソース slice で想定エラーが減り、lineage が保持されています。 |
置き換えデータセットの検証が完了し、下流利用者が利用を確認するまで、失敗したインポートの証跡を残します。
確認項目
- 入力ソース、責任者、許可された用途が確認されています。
- 処理結果をソースパス、フィールド、タイムスタンプまで追跡できます。
- 失敗、競合、拒否、異常データについてレビュー結果があります。
成果物
- レビュー可能な設定、実行記録、品質メモ、処理出力、下流への引き渡し記録。
実装メモ
ソースシステム、フィールドの意味、タイムスタンプ、単位、責任者、レビュー記録を残してください。DFS の出力は、マッピング、品質確認、引き渡し記録が揃ってから Inspector、FactVerse AI Agent、BI、Physical AI のワークフローに渡します。
関連ページ
| 次に読む | 利用シーン |
|---|---|
| DFS Pro データセット | コネクター、インポート、抽出、統合結果から管理済みデータ資産を作成します。 |
| 統合タスク | 複数データセットをマージ、補完、重複排除、関連付けし、競合処理を記録します。 |
| レビューキュー | 低信頼結果、競合、拒否行、人の確認が必要なデータ変更を処理します。 |
| 監査とメトリクス | データセット、統合タスク、レビュー操作、同期実行、品質傾向を確認します。 |