💡 核心创新点

传统的判别式决策模型（如 Jev、Kev）被比作人类认知中的系统 1（直觉、快速但固定单步前向传播）。它们能在数十毫秒内为固定的选项集输出概率分布，但无论面对极其简单的检索还是错综复杂的逻辑推理，模型花费的计算量完全一致。相反，通过长文本思维链（Chain-of-Thought, CoT）进行推理的生成式语言模型被称为系统 2（深思、慢速），其每一步深入思考都必须以解码更多 token 为代价，即使面对极简单的输入也需要承受漫长的自回归延迟。

LEV 突破了这一两极化的假设，创造性地提出了系统 1.5 决策模型（在隐空间循环思考而非生成 token 的判别模型）。它的核心突破与传统机制的差异主要体现在三个维度：

• 隐式深度思考替代显式 Token 生成：LEV 构建在原生循环语言模型（如 Ouro 和 Nanbeige4.2）之上。它并不自回归输出推理过程文本，而是将输入序列送入共享权重的 Decoder 堆叠中循环执行多次前向更新，在连续潜在状态中迭代精炼表征。
• 单检查点共享指针读出头：在每一轮循环后，复用同一个轻量级指针读出头（Pointer Head）计算所有候选选项的匹配得分，并联合训练所有循环步。同一个模型检查点天然具备在任意指定深度（例如 1 到 4 步）直接输出决策分布的能力。
• 无需标注的自适应动态停机机制：传统早停机制（Early Exit）依赖有标签验证集上的绝对置信度阈值，极易在新分布上出现过度自信并错误退出。LEV 提出了基于自一致性的停机目标——预测当前步的预测选项是否已经与最深步预测相一致。该机制的判定阈值完全可以在未标注的生产流量中自动校准，无需人工标注即可实现按需深思。

在 JevBench 基准上，拥有 2.6B 参数的 LEV 从深度 1 运行至深度 4，整体准确率由 63.2% 飙升至 76.2%（+13.0 百分点）。在严格锁定的测试集上，在小于 50 ms 的超低延迟区间内，LEV-1.4B 与 LEV-3B 的准确率比同延迟的稠密模型与级联系统高出 5.4 至 8.8 个百分点。

🔍 背景与动机

行业痛点：快模型无法深思，慢模型处处开销

在工业级在线召回、搜索重排和快速判决系统中，基于单次前向传播的判别式决策模型（Decision Models）因为其亚百毫秒级极速响应而被广泛采用。然而，这种固定深度的前向计算存在严重的算力错配问题。

我们可以用生活中的急诊分诊作比喻：简单的感冒划价与复杂的疑难杂症，在固定的决策模型面前被强制分配了完全相同的时间配额——面对简单问题白白浪费了计算开销，面对复杂病症却因思考时间被锁死在单次前向而频频误诊。若将所有请求转交给生成式推理模型（生成长链 CoT），就如同让主治医生对每个简单感冒患者写下千字诊断日志，原本毫秒级的系统延迟迅速被拖垮至数秒之久。

如图所示，论文对开源 Kev-0.8B 和 Kev-4B 在公开 JevBench（231 个样本）上的逐题表现进行了系统诊断：

1. 增益高度集中于复杂题目：Kev-4B 比 Kev-0.8B 多答对了 28 道题目，但这 28 道增益题目全部位于标准（Standard）与困难（Hard）子集，因为哪怕是 0.8B 的极小模型，也能完全解出容易（Easy）子集中的全部题目。
2. 浅层置信度能够精准识题：在全部 231 个测试题目中，两款模型仅在 42 道题目上结果存在分歧。仅将 Kev-0.8B 最不自信的前 50% 题目路由给 Kev-4B，就能几乎抹平两者的整体精度差距（准确率提升 10.8 百分点，直逼全部路由的 12.1 百分点）。

现有方案的失效与陷阱

为了在不生成文本的前提下为决策模型赋予更多算力，研究人员尝试过多种工程折中，但都在实际场景中暴露了严重缺陷：

• 级联系统（Model Cascades）带来冗余开销：当置信度低于门槛时将输入重定向至大模型。小模型已经消耗了 79 ms，大模型需要再耗时 108 ms，所有被级联的请求不仅要被大模型重新完整编码一遍，还必须常驻两套不同架构的模型权重，显著推高了 GPU 显存成本。
• Token 思维链耗时剧增：如 djev 和 OpenJev 评测所示，生成数百个中间推理 token 虽然能使困难集准确率提升 9 至 13 个百分点，却让中位数延迟激增 3 至 4 倍，即使最简单的题目也要承担生成解码的时延成本。
• 事后改造循环（Retrofitted Loops）无法激活：尝试在预训练好的稠密基础模型（如 Qwen3.5-0.8B-Base）中间挂载门控循环模块（公式 (6) 所示的 ReZero 形式）：

其中 $f_i$ 代表层变换，$g_{p,i}$ 为通道门控参数。实验证明门控参数在反向传播中始终维持在接近 0 的极小量级（均值约 0.006），导致循环前向根本无法被充分调用；如果强行移除门控直接开放循环，又会彻底破坏预训练权重对后续层的分布匹配，在迁移数据集上精度断崖式下跌 2.2 个百分点。

🎯 核心结论：事后插入循环结构无法在轻量微调中被模型有效利用；唯有使用在预训练阶段就内生适应循环步数的原生循环架构，才能解锁无痛的多步前向深思。

📊 数据集与实验环境

为了全面且无泄露地衡量决策模型在不同分布偏离程度下的泛化与校准表现，论文构建并规范了严密的数据评测体系。

评测基准与测试切分

评测覆盖了 6 个不同维度的评测面板：

• Kev-Seen（1,464 题）：来自训练源分布的验证集，包含十个公开分类与推理任务、合成策略及规则。
• Kev-Transfer（1,264 题）：分布迁移测试集，引入 MMLU-Pro、PAWS 等全新公开源，包含不可解（unknowable）题目与全新规则族。
• Kev-Skills（1,083 题）：涵盖 7 个以程序化生成的推理技能模板集。
• LevBench（本研究独立构建）：在任何模型接触前严格冻结的基准数据集，按距离训练集的渐进程度分为：id（分布内，1,370 题）、near（近分布，800 题）、deep（深度逻辑挑战，800 题）、far（远距离跨域任务，1,400 题，含 BoardgameQA、StepGame、CLadder、LogiQA 2.0、AR-LSAT、QuAIL、TimeDial 等）及 unknowable（300 题，专门检验是否过度自信）。在最终冻结前，测试集已执行包含 8,740 个样本的严格锁定测试划分。
• Kev-Breadth（3,023 题）：涵盖 5 个应用领域的 14 个独立公开数据集，模型从未在这些领域上接受训练。
• JevBench：包含 231 道公开测试题（48 道 Easy，72 道 Standard，111 道 Hard）。

硬件配置与微调超参数

所有模型统一在相同的数据与训练配方下完成对齐训练，避免因数据配比差异产生偏差：

• 计算硬件：每个模型使用最多 4 张 NVIDIA H200 GPU 进行并行训练与延迟基准评测。
• 训练样本规模：基准训练集 Train-31k 包含 31,329 条聚合记录（去除了序列超过 5,120 token 的超长上下文样本）；扩展实验包含 Train-60k（60,000 条）与 Train-120k（120,000 条）。
• 微调算法：LoRA（低秩适配），秩 r=16，放缩系数 alpha=32，dropout 率设为 0.05，目标模块覆盖所有自注意力与 MLP 投影层。
• 优化器与调度策略：采用 AdamW 优化器，权重衰减 weight_decay=0.01；学习率采用 One-Cycle 衰减策略，前 10% 步数进行线性预热，峰值学习率设为 1e-4；总训练周期数为 1 个 Epoch；每步聚合 64 条样本，平均单微批次（micro-batch size）为 8，采用 bf16 自动混合精度。
• 数据增强机制：以 0.25 的概率引入“上述均不正确”（None of the Above）数据增强，强制模型学习在无正解时做出拒答判断。

🛠️ 核心机制与研究方法

LEV 围绕“如何让单次决策模型在潜在隐空间内安全、稳定且自适应地循环思考”构建了一套完整的端到端技术框架，具体架构如下图所示：

架构主干：原生循环骨干与共享状态迭代

原生循环语言模型与层间递归

传统的决策微调通常基于标准自回归单向模型，而 LEV 采用了原生循环语言模型作为底座，选用了 Ouro-1.4B（24 层，隐藏维度 2048）、Ouro-2.6B（48 层）以及 Nanbeige4.2-3B（22 层循环运行 2 次）。设初始 token 输入嵌入表示为 $h^{(0)} = E(x)$，在第 $t$ 轮循环步（$t = 1, \dots, R$）中，模型复用同一 Decoder 层堆叠 $F_\theta$ 进行状态演进：

公式 (2) 中，Norm 代表模型最终的归一化层，输入上一循环步的隐藏状态 $h^{(t-1)}$，经过共享参数的 Decoder 块 $F_\theta$ 计算后输出当前循环步的高阶表征 $h^{(t)}$。这意味着在固定参数量的前提下，通过执行 $R$ 轮迭代，模型在潜在空间中实际展开了等价于 $L \cdot R$ 层的深度非线性变换。

指针匹配预测头（Pointer Head）

请求的文本输入组织为共享前置状态上下文 $s$ 以及挂载在其后的若干个子问题 $q_1, \dots, q_m$。每个问题后紧跟候选选项集合 $o_{j,1}, \dots, o_{j,K_j}$，并在每个选项尾部插入封闭分隔符 </opt>，在问题末尾插入特殊的 <decide> 标记。利用块因果自注意力掩码（Block-Causal Mask），使得各个子问题仅能关注到公共前置状态 $s$ 和自身所包含的 token，实现一次前向中并发完成多个相关问题的解算。

在任意循环步 $t$ 执行结束时，提取 <decide> 位置的隐状态 $h_{\text{dec}}$ 以及第 $k$ 个选项闭合符位置的隐状态 $h_k$。共享指针头通过低秩投影矩阵 $W_Q, W_K \in \mathbb{R}^{d_p \times d}$（投影维度 $d_p = 256$）计算双线性点积相似度：

公式 (1) 计算第 $k$ 个选项在当前步的非归一化对数概率（Logits）$z_k$。分母 $\sqrt{d_p}$ 为缩放因子以维持方差稳定。之后通过带有温度系数 $T_t$ 的 Softmax 函数将其转化为概率分布 $p^{(t)} = \text{softmax}(z^{(t)} / T_t)$，最优预测选项即为 $\hat{o}^{(t)} = \arg\max p^{(t)}$。

跨循环步联合损失优化

为了让单一检查点在任意截断深度 $k \le R$ 都能输出高质量的决策分布，LEV 在微调期间引入多步联合训练机制。训练目标在各循环步均匀平均对数损失：

公式 (3) 中，$R$ 为最大循环前向次数，$\ell(p^{(t)}, y) = -\log p_y^{(t)}$ 代表在标准交叉熵（或软标签交叉熵）下第 $t$ 步的损失函数。在反向传播时，共享的 LoRA 权重与指针头接收来自所有步的梯度反传，强迫中间隐状态在早期步即具备可读的判决判别力，避免了浅层状态坍缩。

动态推理：基于自一致性的无监督早停器

若每个请求均强制执行全部 $R$ 步，计算成本依然居高不下。LEV 在每个循环步 $k < R$ 结束时挂载轻量级早停分类器（Stopper），按需切断继续迭代。

自一致性预测目标代替正确率门控

传统早停方案尝试用分类置信度（如 $\max p$）或基于标注数据拟合一个二分类器来预测“当前步回答是否正确”。但实证表明，浅层网络在新分布测试集上往往处于过度自信（Overconfident）的误判状态，且无法区分哪些错误能够在后续步中被修复。LEV 改为让早停器学习预测当前步的判决结果是否与最深步 $R$ 的结果达成一致：

公式 (4) 中，指示函数 $\mathbf{1}[\cdot]$ 定义了二值自一致性标签 $y_k$。早停器为每个深度训练一个逻辑回归分类器 $\hat{y}_k = \sigma(w_k^\top \phi_k + b_k)$，输入特征向量 $\phi_k$ 仅提取自当前步 $k$ 与上一循环步 $k-1$：

• 最高输出概率值 $\max p^{(k)}$ 以及前两大备选选项的概率边际（Margin）；
• 归一化熵值（Normalized Entropy）；
• 离散判定标识：当前预测项是否与上一步相同（$\mathbf{1}[\hat{o}^{(k)} = \hat{o}^{(k-1)}]$）；
• 预测分布间 KL 散度 $\text{KL}(p^{(k-1)} \parallel p^{(k)})$ 以及最高概率的变化幅度；
• 选项总数的对数 $\log K$ 与当前深度编号 $k$。

无标签自动校准与请求状态截断

给定自洽性阈值 $\tau$，单个问题 $q$ 触发退出的深度规则为：

公式 (5) 表明，只要分类器预测与最终步一致的概率超过 $\tau$，问题就会提前跳出。最关键的是，该机制完全不需要人工真实标签：因为回归目标 $y_k$ 纯粹取决于模型自身最终步的推理输出 $\hat{o}^{(R)}$。部署方只需在业务未标注请求流中，通过遍历搜寻能够使 98% 题目与最深预测保持一致的最小阈值 $\tau$。在同一个包含多个子问题的打包序列中，前置共享上下文 $s$ 的隐状态只需要计算到所有子问题所需的最大深度 $\max_j d(q_j)$ 即可停止，彻底节省不必要的全局计算。

📈 结果与深度分析

主基准表现与帕累托前沿对比

在 JevBench 权威基准测试以及严格锁定的 LevBench 测试集上，LEV 展现了优秀的准确率与推理延迟权衡特性：

• 单检查点多工作点：单个 LEV-2.6B 检查点在 JevBench 上，从深度 1 运行至深度 4，准确率由 63.2% 持续上升至 76.2%（+13.0 百分点）。在 LevBench 测试集上，其持有的准确率由 51.3% 单调上升至 65.7%（+14.4 百分点）。
• 计算开销削减：采用自适应早停机制后，在几乎没有精度损耗的前提下（与最深步差距均 $\le 1.0$ 分），在两组保留测试面板上节省了 15% 到 24% 的算力消耗。

在固定计算成本对比中（如上图所示），LEV 动态停机曲线稳定位于固定步数混合线性前沿（Fixed-Depth Frontier）上方。在两步模型 LEV-3B 上，自适应停机相比线性混合插值带来了 +1.0 百分点的显著净收益。

低延迟竞争格局：全面击溃稠密级联系统

为了验证工程可用性，论文在单张 H200 GPU 上对未采用特殊算子融合的真实单批次端到端请求时延进行了严格测定：

在小于 50 ms 的超低延迟领域（Low-Latency Range），行业长期缺乏兼具高容量与高速度的有效模型架构，稠密级联系统必须付出大模型冷启动与重复读取两次全量上下文的沉重代价。由上图可知：

• 在 39 ms 到 46 ms 延迟区间，按需自适应计算的 LEV-1.4B 与 LEV-3B 相比唯一能够触达该时延梯度的稠密级联系统（Qwen3-1.7B 级联至 Qwen3.5-4B）取得了 +7.0 至 +8.8 个百分点的绝对精度压制；
• 相比同延迟下性能最佳的单个稠密模型，LEV 依然建立了 +5.4 至 +7.5 个百分点的性能代差。

消融实验与深度洞察

为了厘清系统收益来源，研究团队开展了详实的消融与探针实验：

1. 联合训练的必要性：若仅使用最深步的损失训练单步模型（Table 21），深度 4 准确率虽有微弱提高，但浅层深度 1 的表现出现严重退化（在 LevBench 上从 46.9% 暴跌至 36.4%，下降 10.5 个百分点），导致早停器失效，被迫耗费 84% 以上的计算量。
2. LoRA vs. 全参数微调：在 Ouro 循环架构上，对全部权重进行全量微调反而使两款 Ouro 模型的最终准确率下跌 1.3 至 1.9 个百分点，这是因为破坏了预训练阶段对循环步隐状态的尺度校准。
3. 训练规模扩展效应：当训练集由 31k 扩展至 120k 时，提升最明显的恰恰是浅层深度 1（LEV-2.6B 深度 1 从 50.5% 跃升至 62.9%），进而使得生产流量的平均推理成本从 0.76 进一步降低至 0.63。

局限性与失败案例分析

⚠️ 局限性：作者在正文中坦诚指出了三个客观瓶颈：

1. 循环推理不擅长直觉类任务：在 Kev-Breadth 测试中，深层循环为需要复杂关系组合的语言理解任务带来了高达 +19.0 百分点的增益，但在幽默编辑（Humicroedit）与颜色常识偏好（cfcolor）两类直觉审美测试中收益为 0.0 百分点；
2. 可修复错误分类界限模糊：浅层置信度区分对错的 AUROC 为 0.670.83，但区分“当前步虽然答错但后续能够被更深循环修正”的题目时，AUROC 仅有 0.460.61，严重制约了早停器进一步压榨算力的空间；
3. 工程优化尚属雏形：目前的时延测试未引入专用算子融合、CUDA Graph 捕获或全局异步批处理调度，不同深度的动态批处理执行效率仍需工程探索。

未来展望

LEV 证明了无需自回归解码文字，在潜在隐状态中循环迭代同样能够完成深度的复杂逻辑推理。未来的研发工作将聚焦于两个重要维度：一是构建更大参数量（如 7B 到 30B）的原生循环模型，验证隐式思考在更大模型容量下的规模扩展定律（Scaling Laws）；二是设计新型停机感知损失函数，主动增强浅层表征对自身可修复性的不确定度建模，实现更为极致的自适应推理算力调度。