让同一个昂贵模型处理所有 AI 请求，就像每封快递都派专车：难题或许需要，分类、进度检查和简单工具调用却未必。KDnuggets 介绍的 NVIDIA NeMo Switchyard 是一个开源模型路由库，也可作为代理层——夹在应用与模型服务之间，逐次请求或逐轮对话判断该交给便宜模型还是更强模型。应用只调用一个统一入口，不必知道背后究竟用了谁。
报道中的示例先用随机分流验证系统：配置让约 30% 请求进入 GPT-4o，70% 进入 GPT-4o-mini，再逐步换成按内容选路。随机分流本身并不“智能”，但适合做 A/B 测试——把两种方案放在相近条件下比较——以及检查代理能否正常工作。它值得生产团队关注，是因为路由决策被集中放到应用之外，便于在质量底线之上控制平均费用和等待时间；不过材料没有给出内容路由的质量、延迟或成本对比数据，实际收益仍待具体业务验证。