改一条共用提示词,就像改了公司的统一话术:客服、销售和内部助手都可能受影响。但把全部测试重跑一遍很贵,只凭印象挑几个又容易漏。Emmimal P Alexander 为此用纯 Python 搭了一张提示词依赖图——把提示词、模板和下游任务之间的引用关系连起来,帮助决定先测哪里。
这套方法先算“可达”范围:从改动处沿依赖关系能走到的全部节点,也就是潜在影响的上限;再结合具体改了哪个片段,筛出直接依赖该片段的组件及其下游使用者,形成更小的“候选”重测集合。作者在一个确定性的 55 节点合成系统中测试后称,不同共享方式下,候选集合比可达范围缩小 0% 至 85%。这也意味着它并非总能省测试,有些改动仍需全量检查。
关键边界是:依赖图只能回答“哪些地方值得重测”,不能判断“哪些地方真的会坏”。提示词输出带有随机性,行为是否变化,仍要用代表性样例和评分标准实际跑回归测试。它的价值不是消除风险,而是把“可能受影响”和“优先验证”分开。