通宵追查时好时坏的测试,白天再 review 修法
想法 + starter prompt,我们还没跑过
适合:测试 pipeline 随机失败、拖慢每次 release 的工程团队
作者让 Claude 读测试 pipeline 的结果,叫它做一个追踪 30 天通过率的工具。它挑出最不稳的测试,查可能的原因,试着做出能重现每个失败的小案例。重现不到的,就试一个修法,通宵重跑测试。pipeline 变快了,通过率也上升,不过有些修法被丢掉。
步骤
- 只给 agent pipeline 结果的只读权限。
- 先叫它做一个简单的通过率追踪工具。
- 从最差的测试开始,叫它做一个可以重现的小案例。
- 白天 review 每个 pull request,不好的修法就丢掉。
Starter prompt
我已经设好测试 pipeline 结果的只读权限,在 [位置]。 1. 写一个小 script,显示过去 30 天每个测试的通过率。 2. 列出最不稳的 [5] 个测试。 3. 最差的那个,建议可能的原因,试着做一个能重现失败的小案例。 在 branch [branch 名字] 上做。先给我看建议的修法、测试结果和 pull request 的内容。等我批准才 push branch 或开 pull request。不要 merge。说明你有多大把握、有什么证据。
原帖:Hacker News · 来源 agentusecases.ai。内容是我们用自己的话写的,我们还没跑过,先用假资料试。