💡 核心创新点

传统的长文本大语言模型（LLM）在面对复杂智能体（Agent）的高频工具调用与超长上下文时，普遍受限于两大物理瓶颈：Prefill 阶段算力激增与海量键值缓存（KV-cache，即推理时暂存历史 token 键值状态以避免重复计算的机制）对显存（HBM）及持久化存储（SSD/DRAM）的极限挤压。DeepSeek-V4.1-Flash 打破了“模型每一层都必须独立计算与缓存全局 KV”的传统假设，给出了系统性的协同演进方案。

极致的多维 KV 压缩与架构创新

DeepSeek-V4.1-Flash 的核心机制差异体现在以下几个维度：

1. 因果编码器-解码器架构（CED，Causal Encoder-Decoder）：模型将 40 层的 Transformer 主干划分为 20 层因果编码器与 20 层解码器。解码器的全局 KV 状态不再逐层计算，而是直接由编码器最后一层的隐藏状态线性投影生成。这使得模型在 Prefill 阶段仅需激活 8B 参数，而在 Decode 阶段激活 16B 参数，将 Prefill 计算量直接减半。
2. 第二代压缩稀疏注意力（CSA2，Compressed Sparse Attention 2）：将注意力机制解耦为 Full（全量）、Reindex（重新索引）与 Reuse（完全复用）三种静态模式。通过跨层共享主 KV 和索引器 K，配合层级稀疏索引器（Hierarchical Sparse Indexer），彻底消除了层间冗余。
3. 原生 FP4 主 KV 缓存：在训练后量化（QAT）阶段引入 MXFP4 格式（微缩放数据格式），在完全不损失精度的情况下，将主 KV 缓存大小减半。
4. SWA 有界回放（SWA Bounded Replay）：针对滑动窗口局部注意力（SWA），不再向 SSD 持久化保存 SWA 状态，而是在缓存未命中时仅重放最近窗口尺寸 $n_{\mathrm{win}}$ 的 token，成功将持久化缓存体积进一步缩小至原先的 1/8。

这些创新的联合作用，使 DeepSeek-V4.1-Flash 的运行时全局 KV 显存降至每 token 仅 890 字节，相较于前代 DeepSeek-V4-Flash 减少了 4 倍，相较于初代 DeepSeek-V1 实现了 437 倍的惊人压缩比。

🔍 背景与动机

近年来，长任务轨迹的智能体（Long-Horizon Agents）在软件工程、终端操作与办公自动化中得到爆发式应用。这类工作流具有极其显著的**输入密集型（Input-Heavy）**特征：智能体反复执行代码运行、查看日志、调用外部 API，每次交互都会将历史上下文再度拼装。随着上下文长度向数十万乃至百万 token 迈进，系统的吞吐量瓶颈发生了从“算力受限”到“显存与存储受限”的转移。

存储与传输成为制约智能体的致命瓶颈

如果将大模型比作一位在长篇档案中寻找线索的分析师，传统的全注意力机制就像要求他把翻过的每一页纸原封不动地平铺在办公桌上（显存 HBM）。即便引入了稀疏注意力，为了应对用户多轮交互并实现前缀缓存（Prefix Caching），这些档案依然需要完整刻录并存入档案柜（SSD 或主机内存）。当并发请求上升，存储容量与 I/O 带宽瞬间见顶，高昂的部署与服务成本严重限制了智能体在工业界的大规模落地。

如图 2 所示，虽然稀疏注意力已经成功将解码阶段的计算量压平，但如果 KV Cache 本身无法彻底瘦身，模型在 1M 上下文下的扩展依旧步履维艰。针对这一痛点，DeepSeek 团队决定在算法结构、精度表示和存储系统三方面展开系统级协同设计。

📊 数据集与实验环境

DeepSeek-V4.1-Flash 的预训练与对齐构建在极其严格的高质量工程流水线之上，覆盖了多模态原生预训练、大规模异步强化学习等环节。

预训练语料与多模态数据配比

• 数据规模与配比：预训练阶段总共消耗了 45T tokens 的海量语料。文本与多模态数据最终混合比例为 7:1。稀疏注意力在 64K 序列长度下直接从头训练，无密集注意力预热阶段，并在 34T tokens 时平滑扩展至 1M。
• 数据清洗与增强：彻底过滤低质量机器翻译及弱模型生成的重复文本；多模态数据重构自 Common Crawl，经由 SmolVLM 进行高标准图文评分；补充了涵盖计算机使用轨迹、高精度 OCR 与代码对的领域数据。
• 视觉编码器自研训练：基于自研 DeepSeek-ViT 架构，首阶段在 47B 图文对上通过 SigLIP 目标以 224×224 分辨率进行对比学习；第二阶段连接 4B MoE 语言模型在 236B token 上进行自回归微调，输入分辨率自适应支持 544×544 至 1344×1344，结合 3×3 像素重排（Pixel-Unshuffle）将视觉 token 数量压缩为原来的 1/9。

训练基础设施与超参数设置

• 全局 Batch Size：全程严格固定为 100.6 million tokens。
• 学习率与衰减策略：初始学习率在 2000 步内线性预热至 $2.6 \times 10^{-4}$，维持至 28T tokens；随后采用余弦退火衰减至 $2.6 \times 10^{-5}$ 并持续训练至 45T tokens。Engram 模块学习率放大为主干的 5 倍。
• 优化器选型：线性层权重使用 Muon 优化器（动量 0.95，权重衰减 0.1，Update RMS 缩放系数 0.18）；Query 和 Key 权重采用按注意力头切分的 Head-wise Muon；LayerNorm 等非矩阵参数使用 AdamW（$\beta_1 = 0.9, \beta_2 = 0.95, \varepsilon = 10^{-20}$，权重衰减 0.1）；Embedding 层与预测头采用带 Sinkhorn 平衡的动量更新（迭代步数 $K=11, \tau=10^{-3}$）。

🛠️ 核心机制与研究方法

DeepSeek-V4.1-Flash 主干模型包含 552B 总参数与 196B Engram 参数，采用 40 层结构（隐藏维度 $d=5120$）。在 MoE 设计上，每个专家层包含 1 个共享专家和 384 个路由专家，每个 token 激活 6 个专家，单专家中间维度为 2304。

因果编码器-解码器架构（CED）

输入 token 序列在进入模型后，前 20 层作为因果编码器进行逐层提取，而后 20 层作为解码器。为了解除传统自回归模型在 Prefill 阶段逐层生成 KV Cache 的沉重计算负担，解码器的全局 KV 状态被设计为完全从编码器最后一层的表征推导得出：

在公式 (1) 中，$H_{L/2}$ 代表第 20 层（即编码器顶层）的隐藏状态向量，$W_l^{KV}$ 和 $W_l^Z$ 分别表示第 $l$ 个解码器层所特有的键值投影矩阵和压缩矩阵，$C_l$ 与 $Z_l$ 则为解码器该层实际读取的全局键值缓存及压缩权重。这种不对称机制使上层解码器在 Prefill 阶段无需重复进行密集的全局投影计算，直接使序列长度 $N$ 远大于窗口尺寸 $n_{\mathrm{win}}$ 时的 Prefill 复杂度减半。

第二代压缩稀疏注意力（CSA2）

在全局注意力分支中，CSA2 彻底打破了注意力层之间必须独立保留私有缓存与索引选择的壁垒。编码器的 18 个 CSA2 层（前两层为纯 SWA）采用 $m=2$ 的压缩率，按每 6 层一组分为 3 组；解码器的 20 个 CSA2 层采用 $m=1$，按每 4 层一组分为 5 组。

如图 4 所示，CSA2 的三种运行模式精细分工：

• Full Mode（全量模式）：每一组的首层运行此模式。它计算自身的查询向量 $Q$，投影出主 KV 和索引器 $K$，并在所有历史上文中执行完整的 Top-K 索引匹配（Top-512）。
• Reindex Mode（重索引模式）：直接复用前序 Full 层的全局主 KV 与索引键 $K$，但当前层计算自己的索引查询向量 $Q$，对共享的键执行重新打分，得到适应本层语义的新 Top-512 候选。
• Reuse Mode（复用模式）：不仅复用前序层的主 KV，而且直接复用上一个模式已经筛选完毕的 Top-512 索引，本层完全跳过索引打分计算，仅执行最终的加权注意力求和。

在解码器中，为了解决百万上下文下重索引层依然需要线性扫描超长上下文的问题，模型进一步引入了分层稀疏索引器（Hierarchical Sparse Indexer）。

如图 5 所示，首个 Full 模式层在全量上下文中挑选出 2048 个得分最高的局部块（每块 8 个位置），组合成一个规模为 16,384 的共享候选池（Shared Candidate Pool）。后续所有 Reindex 层只需在这个被锁定的候选池中进行二次筛选，使后续索引开销彻底脱离了上下文长度的线性制约。

硬件友好的高效架构扩展：Single-Pass mHC

DeepSeek-V4 中提出的流形约束超连接（mHC）通过维护 $n$ 条残差流提升表达能力，其原本的状态演化形式如下：

在公式 (2) 中，$X_l \in \mathbb{R}^{n \times d}$ 为跨层残差张量，$\mathcal{F}_l$ 为块内计算函数，系数生成器 $\mathcal{H}$ 需根据当前输入 $X_l$ 预测出混合矩阵 $(A_l, B_l, C_l)$。这导致在底层 CUDA 实现中必须依赖三个串行 kernel，总显存搬运量高达 $(4n+4)d$。

为突破显存带宽瓶颈，DeepSeek-V4.1-Flash 提出了 Single-Pass mHC，将输入混合系数后移一个 block 计算：

在公式 (3) 中，输入混合改用前一层的系数 $A_{l-1}$，彻底消除了当层特征归约的跨内核等待。结合自研的 Mega-mHC 融合算子，将残差更新、输入混合、前向归一化与 FP8 转换熔炼于单个算子内，使显存访存量直接降至理论极限的 $(2n+2)d$，访存带宽压力下降整整一倍。

显存节约型优化器：Sinkhorn-Balanced Update

针对 196B 的 Engram 超大离散记忆表以及词表嵌入矩阵，若使用传统 Adam 优化器，额外的状态变量显存将不可承受。为此，模型将 Sinkhorn 算法引入动量梯度更新：

在公式 (4) 中，$\widehat{G}_t$ 为带 Nesterov 动量的梯度矩阵，$D_r$ 和 $D_c$ 分别为利用 Sinkhorn-Knopp 迭代求解的对角归一化矩阵。该算法在不需要维持二阶矩显存的情况下，使参数更新矩阵在行（token 维度）和列（特征维度）均满足均方根（RMS）趋近于 1，兼具 Adam 的尺度适应性与 SGD 级别的超低显存消耗。

可控推理深度：强化学习动态惩罚机制

为满足终端应用对推理延迟与深度的多样化需求，模型将推理强度解耦为一个标量控制信号 $b \in [1, 100]$，并在强化学习中针对思考 token 数量 $\ell_{b,j}$ 施加指数型惩罚：

在公式 (5) 与公式 (6) 中，$C_{\max}$ 为惩罚上限，$L_{\mathrm{norm}}$ 为参考标准化长度。惩罚系数 $k(b)$ 随着设定的努力程度 $b$ 呈指数衰减。当用户指定更小的 $b$ 时，模型会主动削减冗余推理链路，反之则释放深层发散推演能力，从而在单套模型权重下原生支持不同延迟等级的 API 输出。

📈 结果与深度分析

在完成大规模预训练与后训练后，DeepSeek-V4.1-Flash 展现出了跨维度的效能提升。

预训练模型能力对比

从表 1 可以清晰地看出：

• 超高参数效率：DeepSeek-V4.1-Flash-Base 仅以 552B 总参数与 8B/16B 的稀疏激活规模，在 MMLU-Pro 上斩获 74.1%，超越了 1.6T 参数的 DeepSeek-V4-Pro-Base（73.5%）；在数学与代码核心评测 BigCodeBench 与 GSM8K 上，分别达到 60.6% 与 93.0%，全面压制前代 Flash 与 Pro 基础模型。
• 原生多模态跃升：在 MMMU-Pro（56.5%）与 DocVQA（95.6%）等需要复杂图表解析与视觉定位的任务中，原生端到端训练的多模态能力展现出巨大的优势。

智能体与推理任务前沿评测

在对齐后的完整评测中，DeepSeek-V4.1-Flash 与目前业界最强的开源及闭源模型展开了正面对决：

如表 3 所示：

• 代码与软件工程突破：在极具挑战的 DeepSWE v1.1 智能体编程评测中，DeepSeek-V4.1-Flash 达到了 74.2% 的 Pass 率，一举超越了专有商用闭源旗舰 Claude 3.7 Sonnet（Opus-5 标称 74.0%）以及 GPT-5.6 Sol（73.0%），比前代 DeepSeek-V4-Flash 的 54.4% 提升了近 20 个百分点。
• 系统控制与网络安全：在真实的命令行终端基准 Terminal-Bench 2.1 上斩获 90.6% 的顶尖成绩；在网络安全仿真靶场 CyberGym 上取得 88.1% 的高危漏洞利用率，刷新了开源模型在此领域的最高水位线。

🚀 重大突破：DeepSeek-V4.1-Flash 以极轻量级的激活显存占用，首次在主流软件工程及智能体基准上全面追平乃至反超了当前顶尖的闭源旗舰模型。

局限性与未来展望

⚠️ 局限性：作者在报告中坦诚指出，尽管 SWA Bounded Replay 和 CSA2 在评测基准中保持了优良表现，但在极端长文本检索或多次状态回跳的极窄边界条件下，近似重构可能会出现不可预期的注意力语义漂移。此外，在涉及高门槛跨学科前沿科学实验的智能体任务（如 Terminal-Bench 4.0）中，模型与超大规模闭源旗舰相比仍存在一定的理论推理代差。

未来的探索将主要聚焦于三个方面：

1. 继续加深模型架构与专用推理 Harness 的协同设计，让软件执行沙盒与自回归注意力形成低时延互锁；
2. 进一步完善分布式内存池中的有界回放容错理论，消除在极端超长交互下的潜在漂移风险；
3. 推动更深维度的多模态主动感知与长轨迹自主任务拆解，迈向通用的自主软硬件交互实体。