AI 会静默失败:我们两次「看起来对了」
AI 最危险的不是做错,是做错了还报成功。
我们卖的不是「效率工具」,是风控:让失败在当时就被抓到,而不是三天后从用户那里知道。
翻车一:配置解析成功,但一个参数都没生效
我们的代码(Unity 读 JSON 配置):
var p = JsonUtility.FromJson<GenParams>(ta.text); // 返回非 null,无异常
我们的 JSON:
{ "enemy_hp": 8, "chest_density": 0.14 }
C# 结构实际要的是:
public float enemyHpScale; // 不是 enemy_hp
结果:FromJson 不报错,返回一个所有字段都是默认值的对象。
加载成功 = true 参数值 = 全部默认(enemies=5,不是期望的 2)
如果没发现,我们会得出「AI 生成没效果」的结论,然后放弃整个方向。真相是:字段名对不上,一个都没进去。
翻车二:测试给了 PASS,但它是自我印证
第一个测试探针:
bool pass = st.Enemies.Count == p.enemies; // 生成结果 == 解析结果
两边都是默认值 5,所以 5 == 5,PASS。这个断言永远为真——它没有验证任何东西。
改成对「输入里的期望值」断言后,假 PASS 当场暴露:
const int EXPECT_ENEMIES = 2; // 来自 JSON 文本,不来自程序 bool parsedOk = p.enemies == EXPECT_ENEMIES; // false bool genOk = st.Enemies.Count == EXPECT_ENEMIES; // false
这不是我们的特殊问题
| 现象 | 常见说法 | 真实后果 |
|---|---|---|
| Agent 报「任务完成」 | 状态栏是绿的 | 产出是空的,第二天才发现 |
| 解析成功但字段全默认 | 日志无异常 | 跑了一整天的错误配置 |
| 测试通过 | CI 是绿的 | 测的是「自己等于自己」 |
| 上传 597/609 | 有 12 个失败 | 线上其实全在,白忙一轮 |
共同点:系统说「成功」,人以为「没问题」。
我们的做法:12 条防线(节选 5 条)
| # | 防线 | 一句话 |
|---|---|---|
| 1 | 断言真实值 | 解析成功后必须断言「值 == 期望」,不是「解析没报错」 |
| 2 | 基准来自输入 | 测试基准必须是输入里的期望值,不能是程序自己的输出 |
| 3 | 判定落到结果 | 「成功」由线上可访问/产出非空判定,不由请求返回码判定 |
| 4 | 一次生成一次校验 | 每个 Agent 产出都要独立校验,产出为空必须报警 |
| 5 | 失败要可见 | 失败必须在当天、在群里被看见,而不是躺在日志里 |
完整 12 条:上线前检查清单。这 5 条背后是 273 条可执行判据, 每条写清「何时触发、怎么做、什么算失败」,来自我们自己 67 次真实上线事故。
这对买方意味着什么
如果你在用 AI 做交付(内容、代码、数据、投放),你已经在承受这个风险:
- 你不知道哪一天的产出其实是空的;
- 你不知道哪个「已完成」是假的;
- 你不知道损失发生在哪一步。
我们的系统就是为这件事做的:私有化部署、数据不出门、按判据自动校验、失败当场进闭环并进日报。
一个诚实的边界
这套东西不能保证 AI 不出错,只能保证出错时你在当天知道。 这已经能挡掉大部分损失——因为大多数损失来自「发现得太晚」。
常见问题
Q:静默失败最常见的原因是什么?
配置/数据结构名字对不上、返回码被当成结果、测试断言在拿程序输出跟程序输出比。三者共同点:系统认为成功,实际没做。
Q:怎么在 10 分钟内判断自己有没有这个问题?
挑一个「已完成」的产出,去核对它应该产生的结果(文件是否存在、数字是否变化)。如果核不出来,就说明你只有状态没有结果。
Q:你们的 273 条判据和这份材料什么关系?
这份材料是其中 12 条的展开(清单)+ 2 个真实案例(本页)。判据库是同一套写法的完整集合,用于产品内部自动校验。