测试查的,是有人想到要写的那几种情况。形式化验证查的,是在说好的范围里的每一种情况:模型里每一种先后顺序、一定大小以内的每一个输入,或者干脆所有输入。
有一类 bug 专门藏在没人走的路上:两次重试叠在一起,锁在写到一半时过期,状态变化的消息先后颠倒。平时测十遍都没事,上线后一年碰上一次,一碰就是重复扣款、数据错乱。
测试
- A 领任务,做完
- B 领下一个,做完
- 重试一次,也正常
- 全部通过。上线后 A 卡了一下,同一个任务跑了两遍
形式化验证
- 把领任务、续租约、超时、重试写成一个小模型
- 把所有先后顺序都走一遍
- 撞上一条坏顺序
- 交给你一个几步的反例,用的是你代码里的名字
什么时候值得用
- 并发和锁:几个进程、几台机器抢同一个东西。比如任务租约、库存扣减。
- 重试和「只能一次」:消息不能投两次,同一笔订单只发一次会员。
- 状态机:订单状态、离线编辑后再同步、审批流程。
- 解析器:什么输入进来都不能崩、不能读错。
- 不安全的底层代码:内存安全、整数溢出、数据结构必须一直成立的条件。
普通的增删改页面、文案、样式,用不上,用验证技能就够了。/pstack:setup-pstack 最后也会问一次要不要生成。你的代码里有上面这几类,而且出错很贵,就选「要」;否则选「不要」,以后真有了再跑。
先照抄
让它自己从代码里挑最值得查的地方:
/pstack:create-formal-verification-skill你心里有数,就直接点名范围和规则。下面两句是官方指南里的例子:
/pstack:create-formal-verification-skill 任务租约和重试逻辑。同一个任务绝不能同时跑两次。/pstack:create-formal-verification-skill 重试队列。一条消息绝不能投递两次。再给两个自己项目里常见的:
/pstack:create-formal-verification-skill 支付回调和发会员。支付平台会重复回调、回调会乱序,同一笔订单只能开通一次会员。/pstack:create-formal-verification-skill 收藏的同步逻辑。两台电脑各自离线改了收藏,再连上网,最后两边一致,一条不丢也不重复。一句话里说清两件事就够了:查哪块代码,什么规则绝不能被打破。
它怎么挑目标
它要找的是「代码做出的一个承诺」:一旦打破就伤到用户,测试又很少碰到打破它的那种情况。它挑最值得查的,不挑最好查的。你点了名,它就从你说的地方开始。
它怎么挑工具
问题决定工具。它会告诉你选了什么、为什么选,你不用学这些语言:
| 你想知道的 | 用哪类工具 | 常见的例子 |
|---|---|---|
| 几件事会不会以坏的顺序发生 | 模型检查器:给设计写一个小模型,把所有顺序走一遍 | TLA+(不管你用什么语言写代码,这类问题都默认用它) |
| 代码本身对每个输入都对吗:内存安全、溢出、数据结构的条件 | 直接在代码上跑的验证器 | 看语言而定,比如 C 的 CBMC、Rust 的 Kani |
| 你的语言没有这样的验证器 | 用自动生成的大量输入去测真实代码 | 基于属性的测试,比如 fast-check、Hypothesis |
| 要在任意大小下都成立,查到某个大小不够 | 证明 | 证明助手,比如 Lean |
「常见的例子」一列是本站举的例子,技能本身不规定用哪个。它会优先挑你们团队装得上、跑得动的工具。
好的形式化验证长什么样
技能对自己的要求,也是你看它交差时该检查的:
- 对得上代码:模型或证明里的每一部分,都能指到一段你打得开的代码。代码里一步做完的事,模型里也是一步。名字都用你项目里的。
- 能失败:一个从没见它失败过的检查,什么也证明不了。每条规则都要演示一次:把代码故意改坏(删掉一个检查、调换两步的顺序),检查能抓到。
- 查出来就是查出来:现在的代码已经违反规则,它就报告,附上反例。不会改松规则或模型让它通过;你不开口,它也不改产品代码。
- 说清范围:验证了什么、在多大范围里、有哪些前提、哪些没覆盖。通过只代表那个模型、那个范围,不代表整个系统没问题。
- 不懂工具也能看:规则和后果各用一句大白话说。反例按你代码里的步骤讲。
- 重跑便宜:一条命令,工具版本固定,跑得够快,下一个 AI 每次改相关代码都愿意跑。
- 跟代码保持一致:记下每条检查覆盖哪些文件和函数,以及上次确认一致时的提交。之后这些代码一改,下一个 AI 就知道要重新看。
反例读起来是什么样
现在的代码真有问题的话,你拿到的不是一堆公式,而是这样一串步骤:
- 1A 领到任务 42租约 30 秒
- 2A 卡住 31 秒比如长时间垃圾回收
- 3租约过期B 领到同一个任务 42
- 4A 醒来接着写没再看租约还在不在
- 5任务 42 跑了两次规则被打破
每一步都能在代码里找到对应的地方,所以你可以拿着反例去真实代码里走一遍,确认不是模型写错了。想给产品经理、设计师看,用 /pstack:statechart:检查不通过时,它把最短的那条出错路线用大白话讲出来;通过时,画一张系统在各个状态之间怎么走的图。
/pstack:statechart 用户离线编辑笔记时会看到什么你会得到什么
项目里多一个技能,名字按它验证的那块代码起。下一个 AI 只读这个技能,就能做到四件事:
- 判断这次改动碰没碰到验证过的代码。
- 一条命令跑检查。
- 分清「代码真有 bug」还是「模型写错了」。
- 改动本来就是有意的时候,知道怎么跟着改验证。
交给你之前,它会照着这个技能在真实代码上故意弄坏一次,检查必须抓到;然后撤掉改动,确认检查回到原来的结果。交差时它会告诉你:
- 验证了什么,用了什么工具,为什么用它,范围多大;
- 查出了什么,用大白话说;
- 以后怎么跑;
- 没覆盖的有哪些。
附近还有一块同样值得查的,它才会建议你接着做。
代码改了:用 /pstack:maintain-formal-verification-skill 对齐
最危险的情况不是检查失败,而是代码已经改了,检查还在通过。它描述的是已经不存在的代码,看起来却像一份证明。
改动经过那个技能的时候,AI 会顺手把验证一起更新。没经过的(合并、别人直接改、重构),用这个补上:
/pstack:maintain-formal-verification-skill它会先原样跑一遍,再读上次确认以来每一个碰到相关代码的提交(包括函数改名、拆分、挪到别的文件),然后照着代码更新模型,而不是照着「怎样能通过」去改。每条检查最后是四种结果之一:
| 结果 | 意思 |
|---|---|
| in sync | 相关代码没有实质变化,检查通过 |
| updated | 代码变了,验证已经跟上,检查通过 |
| bug | 验证描述的就是现在的代码,代码打破了规则。这是代码的问题,不是验证过时了 |
| blocked | 对不齐或者跑不了,说清原因 |
一条检查可以同时是 updated 和 bug:更新后验证又对上了代码,然后规则就不通过了。它更新后检查通过时,还会再故意弄坏一次新代码,确认检查仍然抓得到。只有找到证据说明规则是有意改的(注释、测试、更新日志、提交说明),它才改规则,并把证据附上。验证的更新单独交一个改动,不和产品代码的修复混在一起。
作者自己怎么用
- 2026 年 10 月 18 日发布,跟着 pstack v0.15.27 出来,当时标的是 beta。作者 poteto 在发布帖里举了两个例子:用 TLA+ 给并发的状态机建模,在 Rust 里用 Kani 查未定义行为。作者说自己用 TLA+ 给代码建模,已经找到了好几个 bug,但没说是哪些。
- **「问题决定工具」是测出来的。**作者在加这个技能的 PR 里,拿 6 个它没见过的开源项目试:pg-boss、swr、HikariCP、client-go、cJSON、arrayvec。在 C 写的 cJSON 和 Rust 写的 arrayvec 上,它每次都选了直接在代码上跑的验证器(CBMC 和 Kani)。一个写死「用 TLA+」的早期版本,在这两个项目上还是选了 TLA+。作者也提醒样本很小,每个项目只跑了一两次,只能算线索。
- **复查技能,作者说得很坦白。**在那个 PR 里,poteto 拿 Go 的信号量(包括一个故意少了唤醒的版本)和 Python 的 cachetools 跑了 54 次。结论是这个技能没让结果更正确,AI 本来就能把验证跟上;它多做到的是「改完后再故意弄坏一次,确认检查还抓得到」:用了技能 11 次全做到,不用只做到 10 次里的 5 次。
- 作者的搭配用法(10 月 21 日的帖子):先用
/pstack:statechart让 AI 画状态图,把代码看懂;再用生成的 TLA+ 验证技能,赶在用户之前找到 bug。
为什么现在值得试
形式化验证以前很少有人用:写模型、写证明太费工夫,会的人也少。AI 把这部分成本压了下来,近两年不少人在讨论:
- Martin Kleppmann 认为 AI 会让形式化验证变成主流:写证明变便宜了,而证明检查器正好能抓住 AI 写错的地方(原文,2025 年 12 月)。
- 长期教 TLA+ 的 Hillel Wayne 说,AI 大大放大了写规格的能力(2025 年 6 月);又提醒,AI 随手写的规格常常漏掉规格最该有的东西(2026 年 3 月)。所以上面「能失败」「对得上代码」这两条特别要紧。
- Datadog 用 TLA+ 规格、模拟测试和 Kani 去检查 AI 写的代码(Closing the verification loop,2026 年 3 月)。
- AWS 多年来在自家的分布式服务上用 TLA+ 和自己开发的 P 语言做形式化验证(Systems Correctness Practices at AWS)。
以上链接都是英文。本站的技能页有原文和译文对照:/pstack:create-formal-verification-skill、/pstack:maintain-formal-verification-skill、/pstack:statechart。
卡住了?
它说我用的语言没有能直接验证代码的工具。
这是诚实的回答。它会改用自动生成的大量输入去测真实代码,而不是自己手写一个「代码大概是这样」的模型。查「顺序」的问题不受影响,TLA+ 不挑你用什么语言写代码。
检查跑得太久了。
跟它说「把范围缩小到能在几分钟内跑完,并在交付说明里写清缩小后的范围」。跑得太慢,下一个 AI 就不会每次都跑,等于没有。
它报了一个反例,我不确定是真 bug 还是模型写错了。
让它「把反例按真实代码一步步走一遍」。哪一步在代码里根本发生不了,就是模型写错了,修模型;每一步都能发生,就是真 bug。看不懂步骤就用 /pstack:statechart。
它想把规则改松一点,好让检查通过。
不行。回它:「规则不改。现在的代码违反了它,把反例按代码里的步骤写给我。」查出来的问题就该当问题报,修不修、怎么修由你决定。
通过了,是不是就没 bug 了?
只说明在那个模型、那个范围里没问题。看交付说明里「没覆盖」的那一段;代码改了以后,记得跑 /pstack:maintain-formal-verification-skill。