CheckLab:让失败当场可见

不是又一个测试框架。是把「AI 说成功、实际没做」这件事变成一条能跑的判据。

为什么做这个
我们自己的 AI 生成链路出过两次「假成功」:JSON 解析成功了,但字段名对不上,全是默认值,流程一路绿灯。 后来我们写了 273 条判据。这个页面放的,是其中 10 条能公开跑的。

怎么用(三行命令)

git clone <待公开>  # 或直接找我们要
cd checklab
python check.py level.json --params params.json

真实输出(不是示意)

$ python check.py level_C_cultivation.json --params params_003.json
CheckLab v0.1 · level_C_cultivation.json + params_003.json
------------------------------------------------------------------------
[PASS] S01 关键字段存在        5 个关键字段齐全
[PASS] S02 结构不变量          宝箱 3 / 陷阱 4(任一为 0 即视为生成中断)
[PASS] S03 实体不落在墙里      13 个实体全部落在可走格上(28×20 地图)
[PASS] C01 敌人数与参数一致    参数 enemies=3,产物 3 个
[PASS] C02 初始血量与参数一致  参数 startHp=100,产物 maxHp=100
[PASS] C03 精英比例方向正确    参数 0.08 → 期望 0 个,实际 0
[PASS] C04 seed 一致           445135271 = 445135271
[PASS] C05 Boss 周期一致       参数 3 层一次,产物 3
[PASS] R01 可复现(带 seed)    seed=445135271
[PASS] R02 可追溯(记录输入)  「国风修仙放置+敌人多但弱」
------------------------------------------------------------------------
结果:10/10 通过;0 条未通过

它抓到过的两个真问题(就是我们自己的)

问题哪条判据抓到的后果
导出缺 bossEveryNFloor 字段C05 Boss 周期一致参数改了但产物没跟上,玩家节奏错了没人知道
判据把「墙」和「地面」判反了(0=地面,我按 1=地面写)S03 实体不落在墙里13 个实体全被误判非法——判据自己也会静默失败

第二条尤其重要:判据本身也可能是错的,所以每条判据都要能用真实数据反证。

十类判据(公开版)

级别判据防的是什么
S 静默失败S01 关键字段存在且非默认字段名不匹配,解析成功但全默认值
SS02 结构不变量非空生成中途失败但流程报成功
SS03 实体不落在不可走格坐标合法但玩家永远碰不到
C 一致性C01 敌人数与参数一致参数与产物脱钩
CC02 初始血量与参数一致startHp 与 maxHp 混用
CC03 精英比例方向正确概率参数被忽略
CC04 seed 一致批次串号,同一句话生成不同游戏
CC05 Boss 周期一致节奏参数丢失
R 上架风险R01 可复现(带 seed)出问题无法复现、无法定损
RR02 可追溯(记录输入原句)无法解释「为什么长这样」

完整版是什么

273 条,覆盖三类:数据与参数(静默失败)、内容与体验(能玩但不好玩)、上架与合规(被拒/被下架)。每条都标了「不检查会发生什么」。

公开这 10 条是因为:它足够让你判断我们是不是真在做这件事。

想要完整版 / 想要我们跑一遍你们的

发一份你们的关卡或参数文件过来,我们跑完把 PASS/FAIL 和原因发回去,不收钱。 如果你们的场景不在游戏里(Agent、数据管线、内容审核),说一句,我们把判据改成你们的形状。

moestone@qq.com

战簿 WarBook ·
项目组合 | 投资论点 | 我们踩过的坑