把英文长句翻成法文时，早期神经网络像是先把整句话压成一张固定大小的便签，再凭便签完成翻译。句子越长，细节越容易丢。Quanta 回溯的关键转折发生在 2014 年：蒙特利尔大学实验室的实习生 Dzmitry Bahdanau 改用“注意力机制”——每生成一个译词，就重新判断原句各部分此刻有多值得参考，再加权汇总。按报道，这让网络翻译长句时也能达到与短句相当的表现。
这一步的重要性不只在翻译。自注意力让同一段文本中的每个词直接参考其他词，例如判断“它”究竟指谁。2017 年，Google 团队又以自注意力为主要信息混合机制，提出 Transformer；其论文报告称，模型以此前方法一小部分的训练计算量取得当时最先进的翻译结果。ChatGPT、Claude 等大语言模型随后沿着这一架构家族发展。注意力并不能证明机器拥有人的智能，但它解释了一个核心能力：模型不必把所有信息平均塞进记忆，而能随任务动态选择眼下最相关的部分。