借同事的地图找一家店,不必先把整座城市重画一遍。迁移学习也是如此:用“源”数据帮助样本较少的“目标”数据时,如果只想估一个平均效应,未必需要准确复刻处理量如何影响结果的整条响应曲线。
Shinichiro Shirota研究了源、目标数据只有有限重叠的情形:目标样本在某个边界附近很少,两个群体共享较粗略的变化规律,但差异部分更平滑。论文最关键的一步,是用带正负号的局部校正,避开目标数据最稀薄的区域,同时保留计算平均量所需的信息。于是,源数据只需补上目标数据最难恢复的那一小部分,而不用估准源群体的完整平均值。
作者据此得到三个阶段:源信息太少时,借用不会改变误差下降速度;超过第一道门槛后开始改善;超过第二道门槛后,收益饱和,限制因素转为两群体间的差异。这个结论说明,“能借多少”取决于最终要估什么。不过其保证限于论文设定的一维模型,并假定数据分布、噪声和平滑程度等分析条件已知。