💡 核心创新点

Gemma 4 作为谷歌新一代开源端到端多模态大模型，不仅继承了前代模型的高效性，更在基础架构层面实现了颠覆性的突破。其核心创新点主要体现在以下五个方面：

思考模式（Thinking Mode）的深度集成：参考前沿模型的慢思考机制，Gemma 4 内置了原生的慢思考模式。模型在正式输出回答前，会自动在内部的隐式通道中生成密集的推理轨迹（Reasoning Trace），这一设计使得模型在面对高难度数学、物理和代码逻辑问题时，推理准确率呈指数级提升。
自适应长上下文效率优化：针对超长上下文带来的 KV-cache（键-值缓存）空间暴涨问题，Gemma 4 引入了局部滑动窗口（Sliding Window）与全局自注意力（Global Self-Attention）相结合的动态注意力机制。更进一步，模型在全局注意力层中，重用 Key 作为 Value 向量，并引入了新型的 $p$ -RoPE（低比特偏置旋转位置编码）技术，将全局 KV Cache 空间直接缩减了 37.5%。
零编码器多模态（Encoder-Free Architecture）：在 12B 模型中，Gemma 4 大胆废弃了传统的独立视觉与音频编码器，而是设计了一套极简的轻量化投影模块，直接将原始图像 Patch 与短音频信号投影到共享的统一 Embedding 空间。这一设计不仅消除了内存碎片，还显著提升了跨模态对齐的速度。
多Token预测起草器（MTP Drafter）：为了解决自回归解码的延迟瓶颈，谷歌团队训练并开源了轻量化的 MTP Drafter 头。通过在生成过程中利用交叉注意力机制捕获主模型的激活状态，并在单次前向传播中预测多个候选 Token，配合 speculative decoding（投机解码）机制，实现了端到端生成速度的倍增。
高保真量化感知训练（QAT）：Gemma 4 在预训练与微调阶段深度融入了 QAT，从而可以原生输出极低精度的轻量化模型版本，在减少内存占用的同时几乎实现了“零性能损耗”。

MTP起草器架构设计

🔍 背景与动机

近年来，开源多模态大语言模型（MLLMs）在图像、音频、文本理解上取得了长足的进步。然而，随着应用场景逐步向移动端及端侧部署（On-device Deployment）转移，行业正面临着巨大的物理痛点：

痛点剖析：多模态大模型的计算与存储瓶颈

传统的跨模态大模型就像是组装起来的“乐高玩具”，通常外挂着数亿甚至数十亿参数的独立视觉编码器（如 ViT）和语音编码器（如 Conformer）。这种拼凑而成的架构会导致极其严重的内存碎片化（Memory Fragmentation）。在多模态数据输入时，编码器与主模型之间频繁的特征传递会带来无法忽视的延迟损耗。这使得在端侧硬件上部署流畅的实时多模态交互应用变得困难重重。

🎯 核心结论：端侧多模态模型必须摆脱笨重的独立编码器外挂模式，走向原生、极简的一体化统一表征空间。

另一个不可忽视的行业瓶颈在于自回归解码的低效性。每生成一个 Token，模型都需要对整个网络进行一次前向传播。在上下文达到 32k 甚至 128k 时，注意力计算中的 KV-cache 会产生爆炸式扩张。为了打破这一“存储墙”与“计算墙”的双重禁锢，Gemma 4 彻底重构了位置编码与投机解码的流水线。

📊 数据集与实验环境

Gemma 4 的卓越表现基于极其严格的数据清洗流程与顶级的算力底座支持。其预训练数据集具有极高的数据异构性，包含大量的网页文档、数学公式、高质量代码、精细标注图像以及多语种音频，数据截止日期为 2025年1月。为了确保模型的安全与学术诚信，团队对数据进行了极其严格的去污染过滤。

预训练数据集与分词机制

模型延续了 Gemini 系列所采用的 SentencePiece 分词器，拥有 262k 的庞大词表，内置专用的控制 Token 以及针对多模态特殊对齐需求的标记，极大地提升了文本及多模态数据压缩效率。

硬件底座与弹性训练架构

谷歌团队利用其尖端的 TPU 硬件集群对 Gemma 4 进行了大规模分布式预训练。为了应对大规模节点可能出现的单点故障，团队采用了最新的 Slice-Granularity Elasticity（分片级弹性容错）技术，将故障重启恢复时间从数十分钟缩短至数秒。

预训练硬件底座参数

具体的预训练硬件及并行切片策略如上图所示，在分布式训练中，各模型的具体并行和超参配置规范如下：

Optimizer：采用具有高扩展性的分布式 AdamW 优化器。
硬件分布：其中 12B 模型部署在 12,288 个 TPU v5p 芯片上进行高效并行的联合训练；而旗舰版的 31B 模型则在 10,240 个 TPU v6e 上进行高效分布式训练。
学习率衰减（LR Schedule）：采用带有热启动的余弦退火策略，确保大批量训练时的稳定性。

🛠️ 核心机制与研究方法

Gemma 4 在模型架构的设计上展现了高超的工程美学，完美兼顾了模型的轻量化参数表现与极致的推理加速性能。

4.1 混合架构与参数分布方案

4.1.1 密集与MoE的双轨并进

Gemma 4 推出了涵盖密集（Dense）架构与混合专家（MoE）架构的多规格模型家族，以适应不同的端侧和服务器级硬件环境：

模型参数分布表

从具体参数表可以看出，Gemma 4 系列模型不仅给出了从 2.3B 到 31B 的密集参数版本，还推出了 26B-A4B 混合专家变体。该变体通过 MoE 架构实现了仅激活 3.8B 参数的同时，具备 26B 参数的表征容量。特别值得注意的是，轻量级版本 E2B 与 E4B 采用了按层独立的逐层嵌入技术（per-layer embeddings），使得其在极小的运行时参数开销下表现出超越同等规模模型的优异性能。

4.2 长上下文优化与 $p$ -RoPE 位置编码

为了在高达 128k 的超长上下文场景下，避免传统注意力机制中的 KV Cache 空间爆炸，Gemma 4 引入了具有划时代意义的 $p$ -RoPE 编码。

4.2.1 自注意力分布与KV缓存重用

在传统的自注意力机制中，位置编码的旋转频率是固定且线性的。然而，在面对超长序列时，位置信息会被无限稀释。Gemma 4 在局部注意力层使用标准的 RoPE 位置编码，而为了在全局注意力层中支持极高跨度的上下文，团队首先定义了位置编码频率计算公式：

$\theta_i = \theta \cdot b^{-2i/d}$

其中， $\theta_i$ 是第 $i$ 维上的旋转角度，常数基底 $b$ 在全局和局部层分别被设定为 $1\text{M}$ 和 $10\text{k}$ ， $d$ 代表隐藏维度大小。在此基础上，全局层通过引入调节因子 $p = 0.25$ ，定义了全新的 $p$ -RoPE 变换：

$\tilde{ heta}_i = p \cdot \theta_i$

💡 关键技巧：在全局注意力层中，重用 Key 作为 Value (values = keys)，并利用 $p$ -RoPE 将高维度的绝对偏移转换成具有良好局部衰减性的低维相对投影，配合 5:1 的局部滑动窗口注意力比例，使得整体全局 KV 缓存足迹大跌 37.5%。

4.3 革命性的无编码器（Encoder-Free）多模态技术

Gemma 4 12B 模型首创了无独立编码器的极简多模态输入架构。该方案将前处理阶段完全交由线性投影和重排算法完成。

4.3.1 48x48像素Patch直接映射算法

对于视觉模态，12B 模型将输入图像分割为 $48 \times 48$ 像素的非重叠 Patch。为了实现自适应的长宽比缩放，模型执行了如下序列重排算法。设 $N_{\max}$ 为最大限制 Token 数量（取值范围在 70 到 1120 之间），定义目标 Token 缩放规模 $T$ ：

$T \leftarrow N_{\max} \cdot m^2$

其中 $m$ 是池化核的大小（例如 $m=3$ ）。利用这一长宽比保持算法（Aspect-Ratio Preserving），图像被首先缩放并动态划分为数个宏观 Patch，直接输入线性映射层并添加 2D 坐标偏置，随后输入主 LLM。这种做法省去了庞大的 ViT 外挂编码器，大大缓解了内存碎片化。

自适应长宽比图像缩放示例

4.4 投机解码与多Token预测起草器

4.4.1 MTP Drafter 的交互式交叉注意力机制

为了在推理阶段攻克单 Token 串行自回归带来的低效，Gemma 4 引入了多 Token 预测（MTP）起草头。普通的 speculative decoding 需要维护一个独立的草稿小模型，这会引入额外的内存调度。而 Gemma 4 采用的 MTP 头则直接集成在主模型的最外层。在生成过程中，它会共享并读取主模型的内部激活态，利用 4 层轻量化 Transformer 结构实现未来数个 Token 的并行预测，随后交由主模型在单次前向中快速验证。这一多轨并进方案，实现了极高的一致性接受率。

📈 结果与深度分析

在各大具有权威性的学术基准和人类评测平台上，Gemma 4 展现出了统治级的实力。即便与参数量数倍于自己的闭源及开源模型相比，Gemma 4 系列也毫不逊色。

全方位基准评测表现

在中文及多模态长文本、代码和逻辑推理的多项综合性评测中，Gemma 4 各变体表现惊艳：

各基准评测综合得分对比

从基准对比表中可以看到，Gemma 4 31B 在 MMLU Pro 上斩获了惊人的 85.2% 的得分，在代表最尖端慢思考推理水平的 AIME 2026（无工具辅助）基准中，其更是取得了 89.2% 的恐怖成绩，与前代 Gemma 3 27B（非思考版）的 20.8% 相比，实现了不可思议的质的飞跃。此外，在长上下文基准（Table 9）以及低资源和跨模态语音基准上，Gemma 4 的性能表现也明显优于竞品：

音频与转写翻译表现对比