路口左转时,畅通无阻也许是最可能发生的情况;但真正决定能否加速的,可能是遮挡物后突然出现的行人。这篇论文提醒:用于自动驾驶和机器人的世界模型——系统内部用来推演环境变化的模型——不能只追求视频逼真或平均预测准确。
作者指出,预测似然衡量模型给真实结果分配了多大概率,却可能压低少见但后果严重的分支。更关键的是,一旦遮挡、冲突车辆或逃生空间没有进入模型的内部表示,事后再加风险评分也难以补救。安全证据应从建模之初就获得更高优先级。
论文据此提出风险知情世界模型(RIWM):围绕不同动作的后果、未知信息和恢复余地来组织预测,并用险情与脱险经历修正判断。这是一项研究议程,并非已经验证的完整系统;作者也明确表示,它不承诺消除风险或提供无条件安全保证。