メインコンテンツまでスキップ

データセットライフサイクル

データセットのドラフト、検証、公開、バージョン、廃止、アーカイブを管理します。

利用シーン

  • この DFS タスクを実行し、レビュー可能な記録を残す場合。
  • ソースデータを下流の運用、AI、レポートワークフローに渡す場合。
  • 入力、処理、出力についてプロジェクトチームで共通理解を持つ場合。

ワークフロー

手順

  1. ドラフト作成
  2. 品質検証
  3. バージョン公開
  4. 影響確認
  5. 廃止またはアーカイブ

データセットを DFS Lite から昇格する場合は、ソース責任者、コネクター参照、更新頻度、必須フィールド、最新同期証跡、既知のソース制約を引き継ぎます。後続のレビュアーは、この情報を使ってデータセットの目的と再利用条件を判断します。

インポートと再処理の確認

データセットがファイルインポート、コネクタースナップショット、再処理されたソース slice から作られる場合は、検証前に実行件数を比較します。

確認項目内容
Accepted rows受け入れ行数がソース責任者の想定範囲と一致します。
Rejected rows行レベルのエラーが見え、正しい責任者に割り当てられています。
Schema match必須フィールド、データ型、列名がデータセット contract と一致します。
ID と時刻フィールド資産、設備、イベント、タイムスタンプのフィールドが対象ワークフローを支えます。
Reprocess result修正済みソース slice で想定エラーが減り、lineage が保持されています。

置き換えデータセットの検証が完了し、下流利用者が利用を確認するまで、失敗したインポートの証跡を残します。

確認項目

  • 入力ソース、責任者、許可された用途が確認されています。
  • 処理結果をソースパス、フィールド、タイムスタンプまで追跡できます。
  • 失敗、競合、拒否、異常データについてレビュー結果があります。

成果物

  • レビュー可能な設定、実行記録、品質メモ、処理出力、下流への引き渡し記録。

実装メモ

ソースシステム、フィールドの意味、タイムスタンプ、単位、責任者、レビュー記録を残してください。DFS の出力は、マッピング、品質確認、引き渡し記録が揃ってから Inspector、FactVerse AI Agent、BI、Physical AI のワークフローに渡します。

関連ページ

次に読む利用シーン
DFS Pro データセットコネクター、インポート、抽出、統合結果から管理済みデータ資産を作成します。
統合タスク複数データセットをマージ、補完、重複排除、関連付けし、競合処理を記録します。
レビューキュー低信頼結果、競合、拒否行、人の確認が必要なデータ変更を処理します。
監査とメトリクスデータセット、統合タスク、レビュー操作、同期実行、品質傾向を確認します。