跳到正文
  1. How-to
  2. 让 AI 自己证明
  3. 测试碰不到的 bug:形式化验证

测试碰不到的 bug:形式化验证

一句话挑一条绝不能被打破的规则(比如「同一个任务绝不同时跑两次」),让它在限定范围里把所有情况查一遍。查出问题,你会拿到几步就能走通的反例。

生成一次,以后每次改动跑一条命令适用:代码里有并发、重试、状态机、解析器,出错很贵,测试又很难碰到完整教程第 6 步:验证和交付

测试查的,是有人想到要写的那几种情况。形式化验证查的,是在说好的范围里的每一种情况:模型里每一种先后顺序、一定大小以内的每一个输入,或者干脆所有输入。

有一类 bug 专门藏在没人走的路上:两次重试叠在一起,锁在写到一半时过期,状态变化的消息先后颠倒。平时测十遍都没事,上线后一年碰上一次,一碰就是重复扣款、数据错乱。

测试

  1. A 领任务,做完
  2. B 领下一个,做完
  3. 重试一次,也正常
  4. 全部通过。上线后 A 卡了一下,同一个任务跑了两遍

形式化验证

  1. 把领任务、续租约、超时、重试写成一个小模型
  2. 把所有先后顺序都走一遍
  3. 撞上一条坏顺序
  4. 交给你一个几步的反例,用的是你代码里的名字
图示测试只查有人想到的几种顺序。形式化验证在说好的范围里一种不漏,所以能找到那条没人想到的。

什么时候值得用

  • 并发和锁:几个进程、几台机器抢同一个东西。比如任务租约、库存扣减。
  • 重试和「只能一次」:消息不能投两次,同一笔订单只发一次会员。
  • 状态机:订单状态、离线编辑后再同步、审批流程。
  • 解析器:什么输入进来都不能崩、不能读错。
  • 不安全的底层代码:内存安全、整数溢出、数据结构必须一直成立的条件。

普通的增删改页面、文案、样式,用不上,用验证技能就够了。/pstack:setup-pstack 最后也会问一次要不要生成。你的代码里有上面这几类,而且出错很贵,就选「要」;否则选「不要」,以后真有了再跑。

先照抄

让它自己从代码里挑最值得查的地方:

复制下面这段
/pstack:create-formal-verification-skill

你心里有数,就直接点名范围和规则。下面两句是官方指南里的例子:

任务租约和重试
/pstack:create-formal-verification-skill 任务租约和重试逻辑。同一个任务绝不能同时跑两次。
重试队列
/pstack:create-formal-verification-skill 重试队列。一条消息绝不能投递两次。

再给两个自己项目里常见的:

会员站:支付回调
/pstack:create-formal-verification-skill 支付回调和发会员。支付平台会重复回调、回调会乱序,同一笔订单只能开通一次会员。
Chrome 插件:多设备同步
/pstack:create-formal-verification-skill 收藏的同步逻辑。两台电脑各自离线改了收藏,再连上网,最后两边一致,一条不丢也不重复。

一句话里说清两件事就够了:查哪块代码,什么规则绝不能被打破。

它怎么挑目标

它要找的是「代码做出的一个承诺」:一旦打破就伤到用户,测试又很少碰到打破它的那种情况。它挑最值得查的,不挑最好查的。你点了名,它就从你说的地方开始。

它怎么挑工具

问题决定工具。它会告诉你选了什么、为什么选,你不用学这些语言:

你想知道的 用哪类工具 常见的例子
几件事会不会以坏的顺序发生 模型检查器:给设计写一个小模型,把所有顺序走一遍 TLA+(不管你用什么语言写代码,这类问题都默认用它)
代码本身对每个输入都对吗:内存安全、溢出、数据结构的条件 直接在代码上跑的验证器 看语言而定,比如 C 的 CBMC、Rust 的 Kani
你的语言没有这样的验证器 用自动生成的大量输入去测真实代码 基于属性的测试,比如 fast-check、Hypothesis
要在任意大小下都成立,查到某个大小不够 证明 证明助手,比如 Lean

「常见的例子」一列是本站举的例子,技能本身不规定用哪个。它会优先挑你们团队装得上、跑得动的工具。

好的形式化验证长什么样

技能对自己的要求,也是你看它交差时该检查的:

  • 对得上代码:模型或证明里的每一部分,都能指到一段你打得开的代码。代码里一步做完的事,模型里也是一步。名字都用你项目里的。
  • 能失败:一个从没见它失败过的检查,什么也证明不了。每条规则都要演示一次:把代码故意改坏(删掉一个检查、调换两步的顺序),检查能抓到。
  • 查出来就是查出来:现在的代码已经违反规则,它就报告,附上反例。不会改松规则或模型让它通过;你不开口,它也不改产品代码。
  • 说清范围:验证了什么、在多大范围里、有哪些前提、哪些没覆盖。通过只代表那个模型、那个范围,不代表整个系统没问题。
  • 不懂工具也能看:规则和后果各用一句大白话说。反例按你代码里的步骤讲。
  • 重跑便宜:一条命令,工具版本固定,跑得够快,下一个 AI 每次改相关代码都愿意跑。
  • 跟代码保持一致:记下每条检查覆盖哪些文件和函数,以及上次确认一致时的提交。之后这些代码一改,下一个 AI 就知道要重新看。

反例读起来是什么样

现在的代码真有问题的话,你拿到的不是一堆公式,而是这样一串步骤:

  1. 1A 领到任务 42租约 30 秒
  2. 2A 卡住 31 秒比如长时间垃圾回收
  3. 3租约过期B 领到同一个任务 42
  4. 4A 醒来接着写没再看租约还在不在
  5. 5任务 42 跑了两次规则被打破
图示反例就是这样一串步骤。每一步都对得上你代码里的一个函数,能照着在真实代码里走一遍。

每一步都能在代码里找到对应的地方,所以你可以拿着反例去真实代码里走一遍,确认不是模型写错了。想给产品经理、设计师看,用 /pstack:statechart:检查不通过时,它把最短的那条出错路线用大白话讲出来;通过时,画一张系统在各个状态之间怎么走的图。

复制下面这段
/pstack:statechart 用户离线编辑笔记时会看到什么

你会得到什么

项目里多一个技能,名字按它验证的那块代码起。下一个 AI 只读这个技能,就能做到四件事:

  1. 判断这次改动碰没碰到验证过的代码。
  2. 一条命令跑检查。
  3. 分清「代码真有 bug」还是「模型写错了」。
  4. 改动本来就是有意的时候,知道怎么跟着改验证。

交给你之前,它会照着这个技能在真实代码上故意弄坏一次,检查必须抓到;然后撤掉改动,确认检查回到原来的结果。交差时它会告诉你:

  • 验证了什么,用了什么工具,为什么用它,范围多大;
  • 查出了什么,用大白话说;
  • 以后怎么跑;
  • 没覆盖的有哪些。

附近还有一块同样值得查的,它才会建议你接着做。

代码改了:用 /pstack:maintain-formal-verification-skill 对齐

最危险的情况不是检查失败,而是代码已经改了,检查还在通过。它描述的是已经不存在的代码,看起来却像一份证明。

改动经过那个技能的时候,AI 会顺手把验证一起更新。没经过的(合并、别人直接改、重构),用这个补上:

复制下面这段
/pstack:maintain-formal-verification-skill

它会先原样跑一遍,再读上次确认以来每一个碰到相关代码的提交(包括函数改名、拆分、挪到别的文件),然后照着代码更新模型,而不是照着「怎样能通过」去改。每条检查最后是四种结果之一:

结果 意思
in sync 相关代码没有实质变化,检查通过
updated 代码变了,验证已经跟上,检查通过
bug 验证描述的就是现在的代码,代码打破了规则。这是代码的问题,不是验证过时了
blocked 对不齐或者跑不了,说清原因

一条检查可以同时是 updated 和 bug:更新后验证又对上了代码,然后规则就不通过了。它更新后检查通过时,还会再故意弄坏一次新代码,确认检查仍然抓得到。只有找到证据说明规则是有意改的(注释、测试、更新日志、提交说明),它才改规则,并把证据附上。验证的更新单独交一个改动,不和产品代码的修复混在一起。

作者自己怎么用

  • 2026 年 10 月 18 日发布,跟着 pstack v0.15.27 出来,当时标的是 beta。作者 poteto 在发布帖里举了两个例子:用 TLA+ 给并发的状态机建模,在 Rust 里用 Kani 查未定义行为。作者说自己用 TLA+ 给代码建模,已经找到了好几个 bug,但没说是哪些。
  • **「问题决定工具」是测出来的。**作者在加这个技能的 PR 里,拿 6 个它没见过的开源项目试:pg-boss、swr、HikariCP、client-go、cJSON、arrayvec。在 C 写的 cJSON 和 Rust 写的 arrayvec 上,它每次都选了直接在代码上跑的验证器(CBMC 和 Kani)。一个写死「用 TLA+」的早期版本,在这两个项目上还是选了 TLA+。作者也提醒样本很小,每个项目只跑了一两次,只能算线索。
  • **复查技能,作者说得很坦白。**在那个 PR 里,poteto 拿 Go 的信号量(包括一个故意少了唤醒的版本)和 Python 的 cachetools 跑了 54 次。结论是这个技能没让结果更正确,AI 本来就能把验证跟上;它多做到的是「改完后再故意弄坏一次,确认检查还抓得到」:用了技能 11 次全做到,不用只做到 10 次里的 5 次。
  • 作者的搭配用法(10 月 21 日的帖子):先用 /pstack:statechart 让 AI 画状态图,把代码看懂;再用生成的 TLA+ 验证技能,赶在用户之前找到 bug。

为什么现在值得试

形式化验证以前很少有人用:写模型、写证明太费工夫,会的人也少。AI 把这部分成本压了下来,近两年不少人在讨论:

  • Martin Kleppmann 认为 AI 会让形式化验证变成主流:写证明变便宜了,而证明检查器正好能抓住 AI 写错的地方(原文,2025 年 12 月)。
  • 长期教 TLA+ 的 Hillel Wayne 说,AI 大大放大了写规格的能力(2025 年 6 月);又提醒,AI 随手写的规格常常漏掉规格最该有的东西(2026 年 3 月)。所以上面「能失败」「对得上代码」这两条特别要紧。
  • Datadog 用 TLA+ 规格、模拟测试和 Kani 去检查 AI 写的代码(Closing the verification loop,2026 年 3 月)。
  • AWS 多年来在自家的分布式服务上用 TLA+ 和自己开发的 P 语言做形式化验证(Systems Correctness Practices at AWS)。

以上链接都是英文。本站的技能页有原文和译文对照:/pstack:create-formal-verification-skill、/pstack:maintain-formal-verification-skill、/pstack:statechart。

卡住了?

它说我用的语言没有能直接验证代码的工具。

这是诚实的回答。它会改用自动生成的大量输入去测真实代码,而不是自己手写一个「代码大概是这样」的模型。查「顺序」的问题不受影响,TLA+ 不挑你用什么语言写代码。

检查跑得太久了。

跟它说「把范围缩小到能在几分钟内跑完,并在交付说明里写清缩小后的范围」。跑得太慢,下一个 AI 就不会每次都跑,等于没有。

它报了一个反例,我不确定是真 bug 还是模型写错了。

让它「把反例按真实代码一步步走一遍」。哪一步在代码里根本发生不了,就是模型写错了,修模型;每一步都能发生,就是真 bug。看不懂步骤就用 /pstack:statechart。

它想把规则改松一点,好让检查通过。

不行。回它:「规则不改。现在的代码违反了它,把反例按代码里的步骤写给我。」查出来的问题就该当问题报,修不修、怎么修由你决定。

通过了,是不是就没 bug 了?

只说明在那个模型、那个范围里没问题。看交付说明里「没覆盖」的那一段;代码改了以后,记得跑 /pstack:maintain-formal-verification-skill。

本站是 pstack 的非官方入门教程,不是官方文档;pstack 由 poteto 开发,命令和行为以官方仓库为准。教程原始源码见 GitHub。

由 airali部署,基于小小东的 MIT 授权教程改编。