常见语言模型像接龙,只能从左到右逐词写;BYOD想把它改成“整页修稿”:先面对被遮住的文本,再分多轮同时补写多个位置。这样不用从头训练扩散语言模型——一种能反复修订整段文本的模型——也能获得并行更新和双向参考上下文的能力。
作者冻结原模型,只用LoRA——给模型加少量可训练参数的省资源微调方法——改造Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B和Ministral 8B。新增可训练参数占最终模型的4.1%至5.8%;每次转换最多使用1.024亿个token,在单张Google Colab GPU上用时3.1至4小时。最强的BYOD-Gemma在九项任务中平均准确率为50.6%,接近同一评测中的LLaDA 8B Instruct(51.9%)。不过,作者也承认低生成步数下的开放文本质量仍明显落后:困惑度为8.3至11.1,而LLaDA为4.1;这些效果均来自论文自述。