战簿实验室 · Lab Notes
SILENT FAILURE
2026-11-19 · 两次真实翻车

AI 会静默失败:我们两次「看起来对了」

这篇里的两次翻车都真实发生过,有代码与日志。完整实验在 实验记录。

AI 最危险的不是做错,是做错了还报成功。
我们卖的不是「效率工具」,是风控:让失败在当时就被抓到,而不是三天后从用户那里知道。

翻车一:配置解析成功,但一个参数都没生效

我们的代码(Unity 读 JSON 配置):

var p = JsonUtility.FromJson<GenParams>(ta.text);   // 返回非 null,无异常

我们的 JSON:

{ "enemy_hp": 8, "chest_density": 0.14 }

C# 结构实际要的是:

public float enemyHpScale;   // 不是 enemy_hp

结果:FromJson 不报错,返回一个所有字段都是默认值的对象。

加载成功 = true
参数值   = 全部默认(enemies=5,不是期望的 2)

如果没发现,我们会得出「AI 生成没效果」的结论,然后放弃整个方向。真相是:字段名对不上,一个都没进去。

翻车二:测试给了 PASS,但它是自我印证

第一个测试探针:

bool pass = st.Enemies.Count == p.enemies;   // 生成结果 == 解析结果

两边都是默认值 5,所以 5 == 5,PASS。这个断言永远为真——它没有验证任何东西。

改成对「输入里的期望值」断言后,假 PASS 当场暴露:

const int EXPECT_ENEMIES = 2;                     // 来自 JSON 文本,不来自程序
bool parsedOk = p.enemies == EXPECT_ENEMIES;      // false
bool genOk    = st.Enemies.Count == EXPECT_ENEMIES; // false

这不是我们的特殊问题

现象常见说法真实后果
Agent 报「任务完成」状态栏是绿的产出是空的,第二天才发现
解析成功但字段全默认日志无异常跑了一整天的错误配置
测试通过CI 是绿的测的是「自己等于自己」
上传 597/609有 12 个失败线上其实全在,白忙一轮

共同点:系统说「成功」,人以为「没问题」。

我们的做法:12 条防线(节选 5 条)

#防线一句话
1断言真实值解析成功后必须断言「值 == 期望」,不是「解析没报错」
2基准来自输入测试基准必须是输入里的期望值,不能是程序自己的输出
3判定落到结果「成功」由线上可访问/产出非空判定,不由请求返回码判定
4一次生成一次校验每个 Agent 产出都要独立校验,产出为空必须报警
5失败要可见失败必须在当天、在群里被看见,而不是躺在日志里

完整 12 条:上线前检查清单。这 5 条背后是 273 条可执行判据, 每条写清「何时触发、怎么做、什么算失败」,来自我们自己 67 次真实上线事故。

这对买方意味着什么

如果你在用 AI 做交付(内容、代码、数据、投放),你已经在承受这个风险:

我们的系统就是为这件事做的:私有化部署、数据不出门、按判据自动校验、失败当场进闭环并进日报。

一个诚实的边界

这套东西不能保证 AI 不出错,只能保证出错时你在当天知道。 这已经能挡掉大部分损失——因为大多数损失来自「发现得太晚」。

常见问题

Q:静默失败最常见的原因是什么?
配置/数据结构名字对不上、返回码被当成结果、测试断言在拿程序输出跟程序输出比。三者共同点:系统认为成功,实际没做。

Q:怎么在 10 分钟内判断自己有没有这个问题?
挑一个「已完成」的产出,去核对它应该产生的结果(文件是否存在、数字是否变化)。如果核不出来,就说明你只有状态没有结果。

Q:你们的 273 条判据和这份材料什么关系?
这份材料是其中 12 条的展开(清单)+ 2 个真实案例(本页)。判据库是同一套写法的完整集合,用于产品内部自动校验。

相关材料

实验记录(含五个坑)12 条上线前检查清单一页纸 BP