客服系统没有报错,不代表它答对了。Benjamin Nweke 举了个例子:上游弄错账户 ID,账单接口仍返回 200 和格式完整的空数据;下游于是把“没查到账户”理解成“没有账单记录”,最后发出一封措辞得体、退款判断却错误的邮件。
问题在于,常见离线评测只盯最终文本。它读起来礼貌、通顺、切题,就可能过关,却看不见智能体之间已经失真的中间结果。作者建议引入 Watchdog——独立于主流程的监控机制——沿调用链检查中间载荷,不只确认 JSON 字段和类型正确,还要核对内容是否满足约束、前后一致。说白了,不能只看“表格填没填”,还要看“填的东西对不对”。文章给出 Python 实现,但现有材料未披露完整代码与实测效果;这更像一项实用的生产监控思路,而非已被系统验证的万能方案。