MOSS-VL技术报告：将实时交互作为一等能力的开源视觉语言模型家族

我们推出 MOSS-VL，一个开放视觉语言模型家族，将实时交互——即边说话边感知——作为一等能力来对待。它在全栈范围内进行协同设计：语言解码器仅通过门控交叉注意力来关注视觉信息，因此模型在生成的同时能够自然地看到传入的帧；一个合成的交互语料库负责监督何时该说话、何时该保持沉默、以及何时该修正；而一个分阶段的课程则将所有实时专属训练集中在一个轻量级的最终阶段，该阶段建立在强大的离线基础之上。在离线状态下，MOSS-VL-Instruct 在同等规模下具有竞争力，并在时序推理视频数据集上领先。在四个流式基准测试中，MOSS-VL-Realtime 在开源流式模型中取得了三个基准的平均最佳成绩（在第四个基准上排名第二），并横扫了直接测试主动行为的三个子集——在 OmniMMI 主动提醒基准上取得 66.0 分，而最佳基线仅为 37.5 分。尽管拥有 113 亿参数，但由于视觉 token 位于被解码的序列之外，随着视觉上下文的增长，MOSS-VL 相对于同骨干网络的 Qwen3-VL-8B 在首 token 生成时间上的优势从 2.8 倍扩大到了 5.1 倍。我们已在 https://github.com/OpenMOSS/MOSS-VL 发布了全部五个检查点、训练课程以及实时推理代码。