跳到主要内容

理解模型使用和运行证据

模型注册表说明登记了什么，模型使用详情页说明版本绑定到哪里，以及持久化运行证据是否表明它真实执行过。

在宣称模型正在保护某台设备、晋升另一个候选，或排查模型为什么没有产生客户可见 Finding 前，请先使用本页说明审阅运行证据。

前置条件​

要求原因
正确租户和设备Registry 和 assignment 证据受租户范围限制，并且必须描述目标设备。
mlops.model.read 或 system.config查看模型注册表和使用详情需要其中一个权限。
精确 registry version模型类型名称可能对应多个设备级 artifact。
Assignment 和 artifact metadata 已注册没有绑定和不可变 artifact 身份时，无法确认选择了哪个可执行版本。
最近评估时间窗当前使用结论必须有足够新鲜的证据支持。

打开准确的模型版本​

  1. 打开模型注册表 /ai-model-registry。
  2. 选择目标 registry 记录。
  3. 确认 model type、artifact 类型、版本、训练时间和绑定目标。
  4. 打开模型使用详情路由 /ai-models/registry/:registryId。
  5. 确认页面设备属于当前租户和预期站点。

使用应用选中的数字 registry 标识。一个 model type 名称可能对应多个设备级版本，不能唯一标识一个 artifact。

查看模型注册表和使用详情需要 mlops.model.read 或 system.config。该页面是只读页面。

按页面顺序审阅​

区域需要确认的内容
当前使用状态Runtime status、原因、目标、assignment 状态和最后执行时间。
设备绑定设备身份、目标、scope，以及与当前版本相关的全部 assignment。
运行证据执行模式、小时证据窗口、评估/成功时间、结果计数和 SHADOW disagreement。
训练证据算法、样本数、训练窗口、artifact 类型和训练时间。
Artifact验证状态、runtime、format、digest 摘要和登记时间。
相关版本同一治理模型家族中的其他版本。
生命周期事件训练、验证、晋升、回滚、操作人和事件时间。

页面不会公开 artifact 存储路径或凭据。

中性模型使用详情示例，显示当前使用状态、设备绑定、ACTIVE assignment、已验证 artifact 和最新执行证据
模型使用详情明确设备、target、assignment、artifact 和证据，同时不暴露存储信息。

运行使用状态​

状态含义应采取的动作
IN_PRODUCTIONACTIVE assignment 具有新鲜、成功的持久化运行证据。检查执行时间和客户可见 Finding 的 provenance。
ACTIVE_AWAITING_EVIDENCEAssignment 已是 ACTIVE，但没有足够新鲜的成功执行。检查源数据新鲜度、运行态、调度/执行器和 artifact 加载，不要先宣称已上线使用。
STALE版本曾运行，但最新证据对当前决策而言已经过期。恢复数据或执行链，等待新的成功窗口。
SHADOW_ONLY版本只用于对比。审阅 disagreement，不要把它当作客户可见生产结果。
NOT_IN_USE当前没有 live assignment 选择此版本。查看相关版本和设备当前 active assignment。
FALLBACK本次评估没有使用模型路径，系统退回已声明的安全判据。根据原因修复数据、artifact 或运行依赖。
CONFLICT多个 live assignment 或其他选模冲突导致无法可信选择。停止生命周期操作，由管理员解决冲突。
ARTIFACT_UNAVAILABLE已分配 artifact 缺失、被拒绝或未通过执行验证。在生产使用前修复 artifact 登记或验证。

ACTIVE 是 assignment 状态，IN_PRODUCTION 是由新鲜证据支持的运行使用结论，两者不能互换。

运行证据窗口​

运行证据是有界聚合，不是每条遥测数据的复制。

字段解释
执行模式本次评估使用的 ACTIVE、SHADOW 或其他显式模式。
证据窗口聚合代表的小时，不是模型完整生命周期。
最后评估窗口中最后一次观测到的评估。
最后成功窗口中最后一次成功模型执行。
Attempts窗口内全部已记录尝试。
Executed成功执行数量。
Refused因必要输入或前置条件不满足而明确拒绝的评估。
Timed out超过运行时间限制的执行。
Failed以错误结束的执行。
DisagreementSHADOW 结果与 active 路径不同的对比数量。

主要证据结果状态：

  • EXECUTED：模型 runtime 完成执行；
  • REFUSED：runtime 根据当前条件明确不执行；
  • TIMED_OUT：执行未在允许时间内完成；
  • FAILED：执行以错误结束。

Disagreement 数量不是准确率、precision、recall，也不能证明某个模型更好，只说明对比路径结果不同。

中性运行证据表，显示 ACTIVE 和 SHADOW 小时窗口以及 executed、refused、timed-out、failed 和 disagreement 数量
每一行都是有界证据窗口，不是累计准确率或原始时序导出。

验证 Artifact​

Artifact 状态含义
已验证 metadata登记身份、digest、大小、runtime 和 format 通过 metadata 验证。
待验证验证尚未完成，不能晋升为生产执行。
已拒绝Artifact 未通过验证。
未登记当前 registry 版本没有可用的不可变 artifact。

Digest 标识不可变文件内容，但不能说明模型是否准确或适用于某台设备。

Artifact 类型同样重要：

  • PDM_BASELINE_DISTRIBUTION 描述统计设备行为；
  • PDM_ANOMALY_MODEL 标识可执行异常评分 artifact。

不要使用基线 metrics 证明可执行异常模型运行过。

谨慎阅读训练证据​

需要同时审阅训练窗口、样本数量、算法、artifact 类型和已公开 metrics。

当没有受治理 ground truth 合同时，页面会隐藏名称暗示 accuracy、precision、recall、F1 或 AUC 的指标。模型可以完成训练和执行，但仍没有经过客户结果准确率验证。

确认训练窗口：

  • 属于目标设备；
  • 包含足够有效运行区间；
  • 按要求排除了维护或调试期；
  • 使用预期目标和单位；
  • 具有明确数据截止时间。

区分 AutoML 对比证据与运行证据​

模型控制台会在冻结的历史评估窗口中，将候选方案与当前生产判据按同一口径比较。这是训练决策证据，不能证明候选已经在生产环境运行。

证据可以支持的结论不能支持的结论
同口径的当前判据与候选指标候选是否在同一冻结窗口中通过覆盖率、告警负担和稳定性门槛。线上执行、客户结果准确率或未来表现。
NO_FEASIBLE没有候选通过全部必需门槛。设备健康，或当前判据已经最优。
NO_MATERIAL_GAIN有可行候选，但相对当前判据的提升不足以支持变更。候选已经以 SHADOW 或 ACTIVE 运行。
已选择候选候选可以进入受治理的登记和验证流程。自动上线生产或直接形成维护建议。

登记后，请使用本页持久化的 SHADOW 或 ACTIVE 运行证据，判断这个准确版本是否真实执行。完整决策流程见训练和管理设备模型。

将执行与 Finding 分开理解​

模型执行和 Finding 创建是两项独立事实。

观测正确结论
新鲜 ACTIVE 证据和新 Finding模型已运行，且受治理 Finding 条件产生了客户可见记录。
新鲜 ACTIVE 证据但无新 Finding模型已运行，但组合证据、持续性、滞回、cooldown 或启用范围没有产生新 Finding。
没有新鲜运行证据且无 Finding尚未确认模型执行，应先检查 runtime 和数据就绪状态。
SHADOW 证据且无 Finding正常情况，SHADOW 不能产生客户可见结果。
数据状态为 NOT_RUNNING、COVERAGE_GAP 或 STALE当前证据不可评估，不能解释为健康。

使用审阅 Finding 并记录反馈理解 Finding 中的标准、基线、模型和数据质量证据。

使用生命周期事件进行审计​

生命周期事件可以回答：

  • 训练何时完成；
  • artifact 验证何时变化；
  • 谁晋升或回滚了 assignment；
  • 事件影响哪个 assignment；
  • 事件发生时间。

事件会保留历史。回滚不会删除之前的 assignment、运行证据、Finding 或反馈事件。

故障处理​

现象检查项
页面显示 NOT_IN_USE相关版本和设备当前 live assignment。
页面显示 ACTIVE_AWAITING_EVIDENCE源新鲜度、设备运行态、runtime 调度器、artifact 验证和下一评估窗口。
运行证据已过期最后数据时间、预期源频率和执行器健康状态。
Artifact 不可用验证状态、digest/大小 metadata、runtime format 和部署打包。
SHADOW 存在 disagreement比较准确窗口和运行工况，没有已审阅结果时不要推断准确率。
模型为 IN_PRODUCTION 但没有 FindingFinding 持续性、数据质量、融合条件、cooldown 和设备启用范围。
找不到预期版本租户上下文、准确 registry 标识、设备绑定和已退役版本。
看不到晋升或回滚控件标准使用详情页是只读页面，assignment 生命周期变更由管理员 API 完成。

验证清单​

  • 打开了准确的 registry 版本。
  • 设备和目标绑定正确。
  • 理解 artifact 类型和验证状态。
  • 运行状态来自持久化证据，而不是仅来自 registry 状态。
  • 证据窗口和最后成功时间足够新鲜。
  • 没有把 SHADOW disagreement 写成准确率。
  • 没有把无数据状态写成健康。
  • 将 Finding 是否存在与模型是否执行分开判断。

相关文档​