把 MoE 想成一家分诊诊所:每段输入只交给少数几个“专家”子网络处理。系统通常会留下分诊记录,用来排查故障和观察负载。问题是,这些看似无害的路由遥测——输入去了哪些专家、分配强度多大——也可能泄露它是否曾出现在模型的微调数据中。
作者设计了一种成员推断攻击,即判断某条数据是否被模型“见过”。攻击者先训练类似的影子模型,学习已见与未见样本的路由差异,再把路由特征与模型回答端的信号合并。论文称,在三种 MoE 架构、三个数据领域组成的九组实验中,加入路由信息后,在误报率限定为 1% 时,识别训练成员的成功率提高了 2.7 至 9.4 个百分点。
更值得注意的是,即使路由器参数被冻结,只暴露离散的专家选择,泄露仍然存在。作者据此认为,微调会把成员痕迹写入模型内部表示,路由器只是把其中一部分投影出来。换句话说,原本服务运维的日志,也应被当作敏感数据控制访问;论文同时发现,扰动日志虽能减轻额外泄露,却会降低遥测本身的可用性。