你对无人机说：“绕过前面的楼，飞到红色屋顶附近停下。”这句话对人不难，对机器却是一串连锁题：它要看懂画面，知道“前面”和“红色屋顶”指什么，规划三维路线，还得边飞边修正。以往系统常把这些能力拆开，或者把计算交给地面服务器。OpenFlyV2想做的，是把“看、听、想、飞”装进同一个机载模型。
这是一种 vision-language-action model（VLA，视觉—语言—动作模型）：输入摄像头画面和语言指令，直接输出机器动作。论文称，它能在 NVIDIA Jetson Orin NX 上完成计算，并控制实体四旋翼连续飞行。值得注意的不是无人机终于会听口令，而是作者试图让多种理解能力与实时控制共用一套有限算力。
本文数字均来自 Junli Liu 等作者的论文，尚无跨机构独立印证；尤其是实体飞行效果与机载速度，仍应按单一团队自报结果理解。
一套模型，怎么兼顾理解与飞行？
OpenFlyV2总计约有 10 亿参数：主体是 0.8B 的 Qwen3.5-VL，负责处理画面、语言和历史信息；另有一个 0.2B 的 action expert（动作专家），负责把理解结果变成飞行航点。
两部分共用 vision-language representation（视觉语言表示），也就是一套内部环境表征。可以把它想成多项任务共用一张“心智地图”：识别物体、判断空间关系、回答问题和导航，不必各自重新理解现场。需要回答问题时，模型输出文字；需要飞行时，动作专家读取同一份上下文，生成一小段路线。
每次输出包含 12 个 waypoints（航点，即无人机接下来依次追踪的位置）。这叫 action chunking：模型不是只迈一步，也不一次规划到底，而是给出短时域动作。飞行控制器执行这些航点，模型同时接收新画面，再生成下一段路线。这就是闭环控制——不断“看、做、再看”，而不是拿着一张旧地图硬飞全程。
省算力的关键，是记重点、猜个好开头
机载计算意味着模型直接跑在无人机携带的处理器上，不持续依赖远端服务器。它能避开通信延迟和断网风险，但电量、内存与算力都紧。OpenFlyV2为此做了两件事。
第一件是 Motion-Adaptive Memory（MAM，运动自适应记忆）。普通做法会把多张历史画面重新交给模型，飞得越久，处理历史越贵。MAM按照飞行动作的变化，把历史压缩成若干“运动事件”，并为每段事件保留起点、终点画面及相关动作。像整理旅行记录时，不保存每一秒的视频，而是记下“直飞一段”“转弯”“接近目标”等关键片段。
论文的监督训练消融实验显示，基础配置输入当前画面和四张历史画面，共用 446 个输入 token——token可理解为模型处理信息时切分出的基本单位。换成MAM后，输入最多为218个，至少减少51.1%，同时覆盖更长历史。在Jetson Orin NX上，动作专家一次生成中的处理时间由80毫秒降到20毫秒。它不只是更快：在一次生成步骤的设置下，导航成功率由49.82%升至53.45%，终点误差由49.18米降至37.54米。
第二件是 Motion-Structured Prior（MSP，运动结构先验）。短时间内，无人机的路线通常落在若干重复模式附近，例如直行、转弯或升降。MSP先从训练轨迹中归纳这些模式，再根据当前场景挑一个合适的“动作草稿”，让动作专家从较靠谱的起点开始修正，而不是从随机噪声慢慢猜。
它的价值集中在算力最紧的一步生成设置中：在MAM基础上加入MSP，成功率由53.45%升至57.09%，终点误差由37.54米降至33.55米。增加到两步生成后，MSP的优势不再明显，MAM单独取得59.45%的最高成功率。换句话说，MSP不是无条件更强，而是在只能快速改一次答案时更有用。
训练它，需要同时教“看懂”与“飞对”
作者构建了OpenFlyV2-130K，覆盖13个环境。最终数据包括72,352条语言条件导航轨迹和60,006组视觉问答，内容涉及颜色、物体描述、距离估计、空间关系与语言指代定位。九个环境用于训练，四个留作未见环境测试。
这些任务样本均来自仿真或渲染。场景来源包括AirSim、Unreal Engine，以及用3D Gaussian Splatting（3DGS，一种从真实影像重建三维场景的方法）制作的校园和灾后废墟环境。GPT-5先生成导航指令和问答标注，再由200名标注者核验；按作者设定的严格标准，只有60%的生成样本通过。
这种数据安排很关键。导航轨迹教模型“该怎么飞”，视觉问答则补上“看到了什么、物体在哪里、彼此有什么空间关系”。作者希望两类训练共同塑造那张共享的“心智地图”。
仿真领先，实体飞行仍只成功近一半
仿真导航测试包含800个已见环境任务和300个未见环境任务。成功要求模型明确发出停止信号，并停在目标25米以内。OpenFlyV2在两组测试中的成功率分别为62.88%和52.67%；对比表现最接近的DualVLN，后者分别为38.88%和36.67%，差距为24和16个百分点。论文还指出，参与比较的四个开源基线都无法在用于实体飞行的Jetson Orin NX上运行，因此它们只参加了仿真对比。
实体测试使用搭载Jetson Orin NX的DJI M30T，在四个地点完成100次试飞，其中50次要求寻找单个地标，50次要求依序经过两个地标。操作员输入最初指令后，飞行过程没有人工接管。模型最终取得48%的总体成功率；双地标任务必须按顺序抵达，并在时限内停在正确终点附近，结果由人工判定。
最终策略每次生成12个航点，论文报告的生成频率为10 Hz。新动作段会在上一段仍在执行时异步生成，底层控制器另行负责稳定机身和追踪航点。这里的10 Hz指动作块生成频率，不应直接等同于底层飞控频率。
为什么值得关注？
OpenFlyV2给出的方向，比单项榜单成绩更重要：空中VLA未必只能依赖大模型、远端服务器和长时间推理。共享表示减少能力割裂，MAM压缩过去，MSP为未来动作提供好起点，三者共同把理解与控制塞进机载预算。
这也让无人机的使用方式发生变化。操作员不只下达坐标，还可以用地标和空间关系描述目标；同一模型也能回答对当前画面的提问。当然，48%的实体导航成功率说明它离可靠工具仍有明显距离。论文证明的是“可以合在一起并跑起来”，还不是“已经足够稳健地投入使用”。
局限与未知
- 实体测试只有100次，论文只给出四个地点汇总后的48%，没有披露各地点、单双地标任务的分项结果或方差；成功还依赖人工判断。
- 论文称模型没有使用真实世界飞行轨迹训练，也未对测试地点微调，但“zero-shot”是否仍涉及真实传感器标定、控制器调参等环节，材料没有完整交代。
- 10 Hz结果缺少Jetson Orin NX功耗模式、量化方式及完整端到端延迟等口径。代码也只是计划在AeroBrain仓库公开，不能视为已经开源。