💡 核心创新点

传统的视觉语言模型（VLM）通常将视觉编码器输出的图像特征视作静态前缀（Static Prefix），输入到单向或自回归堆叠的多层 Transformer 中单趟前向传播完毕。这种设计默认假设：图像证据的理解深度完全由物理堆叠的层数决定，且多模态交互发生一次即可形成充分表示。这种传统假设不仅让模型参数量随着期望深度的增加而线性膨胀，而且在面对复杂图表解析或几何逻辑推理时，极易因早期注意力分配偏移而陷入错解。

LoopVL 打破了这一僵化范式，通过构建循环视觉语言模型（Looped Vision-Language Model），实现了参数高效与深度推理的双重突破：

分层双尺度循环计算范式：结合 Module-Loop（模块内局部高频循环更新）与 Model-Loop（全局低频宏观循环迭代），在物理上仅维护两组 16 层的 Transformer 权重栈（L 模块与 H 模块），却在默认 H2L3 调度下执行了高达 128 层的有效计算深度。
动态演化的视觉表征机制：彻底改变视觉特征“只读不变”的惯例，允许视觉 Token 的隐藏状态在跨循环调用中与文本指令持续协同演进，利用相同物理层的多次调用实现视觉证据的二次重排与细粒度筛选。
发现 Visual Aha Moment（视觉顿悟时刻）：在宏观循环（Model-Loop）交界切换处，模型跨周期展现出剧烈的注意力聚集与重构效应，注意力从全局离散迅速聚焦到底层目标证据区域，赋予参数共享架构解释复杂多模态推理动力学的全新窗口。

LoopVL 性能与计算效率对比

🚀 重大突破：在仅占用约 1B 语言主干参数量以及 0.14T 极低训练 Token 的约束下，LoopVL 实现了与数倍参数量大模型匹敌的基准表现，其计算效率与数据利用率展现出了循环机制的巨大潜力。

🔍 背景与动机

行业痛点与传统深层架构瓶颈

当前大语言模型与多模态模型普遍依赖深度扩展（Depth Scaling）来增强推理能力。堆叠上百层独立参数的代价极其高昂：

存储与显存带宽消耗过大，对端侧部署或小算力环境极度不友好；
随着参数量剧增，模型对训练数据量的吞吐要求激增至数十万亿 Token。

通用 Transformer（Universal Transformer）等架构曾探索通过层间参数复用提高有效深度，但在纯语言领域之外，如何将循环机制落地至包含异构输入的多模态领域，一直是行业未解的技术空白。

为什么视觉模态更需要循环？

理解一张复杂的几何示意图或密集的仪表盘，就像人类解谜一样：第一遍粗看很难直接圈定关键证据。通常我们在阅读完题干后，会带着疑问重新审视图像局部，完成多次“观察-假设-再聚焦”的心智循环。

在传统稠密前向模型中，视觉特征被编码器一次性投射后便静止固定，后续层只能单向提取。一旦初始阶段注意力分散或未能捕获细小局部，后续的高层语义判断就会直接产生多模态幻觉（Hallucination）。LoopVL 赋予了共享网络权重多次审视和修改视觉表征的能力，使模型能随着解题上下文的演化在图内重新锁定核心区域。

📊 数据集与实验环境

训练阶段与多源数据配额

LoopVL 的训练并非微调现成的预训练语言大模型，而是从零完成全流程构建，跨越文本预训练、多模态适应与后训练五大阶段。整体数据流与阶段配置详见下方图示：

LoopVL 训练数据构成与阶段配额

LoopVL 全流程端到端训练流水线

文本预训练（Text Pre-training）：基于 HRM-Text 开源框架与配方，总量 75B tokens。其中 60B tokens（占比 80.0%）来自 HRM-Text 基础配方（涵盖 FLAN、Tasksource、SYNTH、Platypus、Principia、OpenMathInstruct2、NuminaMath、OmniMATH 等）；15B tokens（占比 20.0%）为精选数据集（包含 MegaMath-Q&A、Cosmopedia v2、Tulu 3 Persona 系列与 SciRIFF）。
阶段 1：视觉语言对齐（Stage 1: Alignment）：采用 LLaVA-559K WebDataset，消耗 0.33B tokens。在此阶段冻结视觉编码器与语言主干，仅训练视觉投影层。
阶段 2：多模态中训（Stage 2: Mid-Training）：采用 OneVision-1.5 Mid-Training-85M，消耗 49B tokens。联合训练语言主干与投影层，最大序列长度设为 3072。
阶段 3：监督微调（Stage 3: SFT）：消耗 16.81B tokens，混合四个高质量数据集：OneVision-1.5 Instruct-22M（13B，77.3%）、OneVision Spatial-4M（3B，17.8%）、LLaVA v1.5 Mix665K（0.55B，3.3%）以及 Vision-R1-Cold（0.26B，1.5%）。
阶段 4：视觉强化学习（Stage 4: RL）：采用 Vision-R1-RL，消耗 0.006B tokens，采用群体相对策略优化（GRPO）对复杂数学与多模态逻辑进行强化。

优化器与训练超参数设置

模型在多阶段中严格执行了特定的优化配置：

优化器：AdamW，动量参数 (β1, β2) = (0.9, 0.95)，梯度裁剪阈值设置为 1.0，前 3% 的总步数用于学习率线性 Warmup。
学习率：在 Stage 1 中投影层参考学习率为 1e-3；在 Stage 2 中语言主干学习率为 2e-5，投影层为 1e-4，且采用余弦衰减调度。
批量规模与精度：Stage 1 全局 Batch Size 为 256，Stage 2 为 128；主干网络与视觉编码器均采用 BF16 精度，投影层参数保持 FP32，Weight Decay 设为 0。

🛠️ 核心机制与研究方法

LoopVL 的核心机制围绕分层循环执行图、跨时间尺度协同以及视觉隐藏状态的持续演进展开。其架构与内部模块如图所示：

LoopVL 架构细节与模块内部结构

整体多模态骨架与视觉接口

LoopVL 采用冻结的 Penguin Vision Encoder 作为视觉前端。输入图像被编码后，每保留一个图像 patch 会生成一个 1024 维特征向量。随后，一个两层 GELU 投影层（Projector）通过一个 1536 维隐层将视觉特征维度映射至 1536 维，直接对接语言主干的嵌入空间。

为保持空间感知，LoopVL 对视觉 Token 实施二维空间旋转位置编码（2D Spatial RoPE），利用行列网格坐标显式编码几何拓扑；对文本序列虽然分配了二维坐标，但两个坐标轴同步递增，退化等价于经典一维 RoPE。在注意力可见性方面，Header、图像与指令 Token 组成双向可见的 Prefix，而回复 Token 采用因果掩码，无法泄露给前缀区。

分层嵌套循环结构（H2L3）

LoopVL 的语言主干由两套完全独立的 16 层 Transformer 堆栈构成：低层更新模块 L（Low-level module）与高层整合模块 H（High-level module）。两模块各自在内部循环复用权重，但 L 与 H 之间不共享参数。在默认的 H2L3 调度下，其执行序列为：

[L1 → L2 → L3 → H1] (Model-Loop 1) → [L4 → L5 → L6 → H2] (Model-Loop 2)

尽管存储权重仅有 32 层 Transformer，但在一次前向推断中实际执行了 (3 + 1) × 2 × 16 = 128 次层级计算。L 模块在较快的时间尺度上连续迭代，高频细化当前图文表征；随后 H 模块在较慢的时间尺度上统筹整合局部更新，生成全局高阶语义条件并驱动下一循环。在每个模型循环开始时，LoopVL 会将初始投射的视觉特征通过一个查询条件门控重新注入 H 状态中，避免长期循环中原始锚点信息漂移。

视觉状态持续更新的必要性验证

传统架构通常认为视觉 Token 作为前缀无需在循环中写回。LoopVL 明确指出：参数共享的本质是用同一组变换作用于不断变化的隐藏状态。若视觉表征静止，第二次经过相同物理模块时就只能机械重复前次输出。

视觉状态更新控制实验

如上图对比所示，一旦阻断 L 模块的视觉写回（Block L visual updates）或在第二循环中冻结视觉隐藏状态（Freeze visual states），甚至在只读限制下单独重新训练（Read-only trained），模型在 LogicVista、RealWorldQA 等基准上的准确率均发生显著下滑，有力证明了视觉 Token 必须伴随语言状态共同动态演化。

渐进式选择性反向传播与训练目标

在反向传播机制上，若贯穿展开全部 128 层，显存开销将难以承受。LoopVL 采用了选择性反向传播（Selective Backpropagation）：在默认的八次模块调用中，反向传播梯度图在 Warmup 阶段逐渐从最后两次（L6 与 H2）扩展到最后五次调用（L4、L5、L6、H1、H2），而早期的三次调用（L1、L2、L3）始终排除在梯度计算之外，但在前向过程中全量参与。

在有监督微调阶段，模型采用 Teacher Forcing 机制。给定条件上下文 $x$ （含图像和指令）及参考回复 $y = (y_1, \dots, y_T)$ ，条件生成概率展开为：

p_\theta(y \mid x) = \prod_{t=1}^T p_\theta(y_t \mid x, y_{<t})

这里公式 (2) 将完整回答序列的联合概率分解为给定图文前缀与自回归历史 token 时的逐步条件概率之积。在包含 $B$ 个样本的 Batch 上，针对掩码后的有效回复 Token，最小化平均交叉熵损失：

L_{\mathrm{SFT}}(\theta) = - \frac{\sum_{i=1}^B \sum_{t=1}^{T_i} \log p_\theta(y_{i,t} \mid x_i, y_{i,<t})}{\sum_{i=1}^B T_i}

在公式 (3) 中， $T_i$ 代表第 $i$ 个样本中有效回答 Token 的总长度， $\theta$ 为可学习模型参数。该目标函数保证了梯度仅在回答序列位置进行计算，前缀与填充位置均被掩码过滤。

📈 结果与深度分析

基础模型对比：参数复用对决暴力堆叠

在控制相同 0.14T tokens 的极低训练预算下，LoopVL 与采用相同模块但属于非循环架构的 Transformer-VL 基准展开了严格对比：

Transformer-VL 基线消融对比

🎯 核心结论：LoopVL 证明了在保持小参数量（1B 级）的前提下，通过循环共享参数增加有效计算深度，在绝大多数视觉感知与逻辑推理任务上全面超越了物理参数量大 4 倍的稠密模型。

如表内结果显示：

相比同参数量且单趟执行 32 层的 Transformer-VL 1B，LoopVL 在 MMStar 上从 55.33 飙升至 63.47（提升 +8.14 pp），RealWorldQA 从 55.29 提高至 70.98（提升 +15.69 pp），ChartQA 更是从 51.12 跨越到 74.52（提升 +23.40 pp）。
相比物理堆叠 78 层（隐藏维度 1792）的 Transformer-VL 4B (Deep) 和物理堆叠 32 层（隐藏维度 2816）的 Transformer-VL 4B (Wide)，LoopVL 在训练 FLOPs 更低（ $2.47 \times 10^{21}$ 对比 $2.89 \times 10^{21}$ 与 $2.99 \times 10^{21}$ ）的情况下，在 MMStar、RealWorldQA 以及 MathVision 等指标上均取得领先。

Visual Aha Moment 的数学刻画与证据重排

为了剖析为什么循环调用能让模型顿悟，研究对注意力权重的演进进行了定量定义。设图像内共包含 $N$ 个视觉 Token，注意力经图像归一化后分布为：

p_i = \frac{a_i}{\sum_j a_j}

在此基础上，定义归一化空间熵衡量注意力在二维图像上的分散程度：

E(p) = - \frac{1}{\log N} \sum_i p_i \log p_i

公式 (5) 中通过除以 $\log N$ 将熵缩放至 $[0, 1]$ 区间，熵值越低代表注意力在空间上越为集中。同时，定义 Gini 集中度衡量视觉 Token 注意力分配的不平等性：

G(r) = \frac{1}{2N} \sum_{i,j} |r_i - r_j|

在公式 (6) 中， $r$ 为指令与参考答案查询归一化后的注意力分布。 $G(r)$ 越高，表明注意力越集中于少数关键 Token。

跨循环视觉注意力证据重排案例

在模型从第一循环末端切换到第二循环伊始时，平均 Gini 集中度从 0.405 跃升至 0.858。正如上图所示的 8 个典型示例，模型在第一周期未完全理清图意时注意力较为弥散；进入第二周期后，先前排名处于后 50% 的 Token 被大幅提拔至前 25%（橙色和青色标示点），精准锁定了遥控器朝向、微小碎屑数量或包装盒代码。这种状态跃迁构成了生动的“视觉顿悟”。

为了进一步量化视觉隐藏状态本身的动态演变幅度，实验记录了每个 16 层模块调用前后视觉向量的变化：

U_c = \frac{1}{N} \sum_i \|y_{i,c} - x_{i,c}\|_2

公式 (10) 计算了在模块调用 $c$ 前后，全部 $N$ 个视觉 Token 发生的平均 $L_2$ 隐状态更新距离。而在输出预测端，采用 Logit Lens 结合 KL 散度度量层间输出分布逼近最终答案的进程：

K_\ell = \sum_v P_T(v) \log \frac{P_T(v)}{P_\ell(v)}

公式 (12) 中， $P_T(v)$ 为最终层第 128 层输出的词表概率分布， $P_\ell(v)$ 为执行到中间第 $\ell$ 层时的预测分布。实测表明直到最后一次 H 模块调用，KL 散度才剧烈收敛下挫，这证明了前序循环主要承担深度证据梳理，而最终决断在最后一轮循环中迅速成型。

局限性与未来展望

⚠️ 局限性：作者在文中坦陈，由于当前后训练在推理场景下的数据规模较小，当模型试图进行超长思维链（Long CoT）推导时，偶发性地会出现重复 Token 或死循环推理片断，从而阻碍最终答案生成。此外，推理阶段若强行延长循环轮次（如从 H2L3 盲目增加至 H4L3），MMStar 得分反而会从 63.47 骤降至 24.00，呈现出显著的“过思考”（Overthinking）退化。

未来团队将继续扩大后训练数据的多样性，引入针对长推理的偏好对齐，并将这一循环视觉机制拓展至视频理解、多图输入及端到端具身智能等更广阔的动态场景中。