💡 核心创新点

传统的视觉与语言大模型长期依赖拼接式的异构系统：用预训练的 Vision Encoder（视觉编码器，如 CLIP 或 SigLIP）进行高层语义压缩抽取用于多模态理解，却通过 VAE（变分自编码器）的低维潜空间进行扩散生成。这种理解与生成在表征空间上的割裂，导致语义抽象与像素级保真度之间存在难以弥合的信息屏障。SenseNova-U1.5 彻底打破了这一传统假设，坚持 Encoder-free 和 VAE-free 的纯原生统一范式，在单一 8.2B 参数的 Mixture-of-Transformers（MoT，混合 Transformer 架构）骨干中直接以词元和像素为统一媒介进行端到端表征与建模。

相比前代系统与同类开源模型，SenseNova-U1.5 实现了两大底层机制突破：

空间联合重建解码取代独立 Patch 预测：前代原生模型直接将每个 $32 \times 32$ 像素对应的视觉词元通过 MLP 独立投影回 RGB Patch，导致 Patch 边界信息缺乏交互，在高分辨率下极易产生拼接缝、网格伪影和纹理断裂。SenseNova-U1.5 引入了轻量级空间解码器，将词元映射回二维特征场，通过多级连续的 $3 \times 3$ 卷积与 Pixel Shuffle（亚像素卷积上采样）进行全局平滑恢复，原生支持最高达 4096 × 4096（4K）分辨率的高保真连贯生成。
先专精后统一（Specialize-then-Unify）的后训练蒸馏策略：多模态视觉生成涵盖审美视觉、双语文字渲染、信息图设计和精准图像编辑等异质任务，其奖励尺度、探索动态和采样要求截然不同。直接联合训练强化学习（RL）策略极易造成目标冲突。SenseNova-U1.5 首先分别针对各垂类训练 4 个独立的 RL 专家，再通过 Multi-Expert On-Policy Distillation（MOPD，多专家在策略蒸馏）技术，硬路由指派各专家的速度场监督学生模型自身生成的去噪轨迹，完美将多种高阶生成与编辑能力无损汇聚至单一统一权重中。

SenseNova-U1.5 在信息图表排版、中英双语文字渲染以及逼真人像生成任务中的高质量视觉样张展示

🔍 背景与动机

当前主流的多模态视觉生成正在快速扩展至多语言排版、高密度信息图设计、多图参考肖像迁移以及细粒度局部编辑等复杂场景。然而，现有模块化两阶段系统在面对这些任务时屡屡失效：

多阶段特征损失与伪影累积：传统 VAE 压缩往往丢失局部高频文字轮廓和精细纹理，使密集海报排版中的小字符模糊变形；外部视觉编码器在降采样中也容易抹去空间几何位置线索。
理解与创造的单向脱节：多模态理解能力（VLM）擅长逻辑推理与语义规划，但由于与扩散底模分别属于两个网络，使得复杂的空间推理、常识推理无法直接介入去噪过程。

🎯 核心结论：原生统一不仅仅是一种架构层面的简化，而是通过紧凑共享的视觉底座，让多模态理解与逻辑规划自然迁移为视觉创作能力。

如果做一个通俗的比喻：传统流水线模型好比“文学家”与“画师”通过电话沟通，文学家把指令口述给画师，画师在缺乏底层语义连贯理解的情况下凭经验绘制，反复的信息转译使得画面布局与细节往往失控；而 SenseNova-U1.5 则是一位“眼脑手合一”的创作者，在同一神经回路中完成对画面的审视、逻辑推敲与像素落笔。

SenseNova-U1.5 在图像精准局部编辑、多参考图个性化主体迁移以及信息图重排编辑上的生成结果

📊 数据集与实验环境

训练语料构建与规模分布

SenseNova-U1.5 相比前代大幅扩充了训练数据：

图像生成语料：新增约 59M 高质量中英图文对，覆盖 78 个精选来源。训练集中超过 $1024^2$ 分辨率的样本占比达 88.2%，超过 $2048^2$ 的样本占比达 64.4%，为原生 4K 多尺度生成提供了坚实支撑。
图像编辑语料：包含约 38M 样本，涵盖通用编辑（约 43%）、空间控制信息图编辑（约 42%）以及单图/多图参考编辑（约 15%），单样本最高支持 10 张参考图输入。
交错多模态语料：包含生活步骤教程与图画书（约 44%）、信息图流程（约 29%）、视频连续帧时序数据（约 19%）及推理密集型样本（约 8%）。
RL 强化学习样本：美学专家构建了约 280K 提示词；OCR 专家构建了 60K 中英双语文本渲染提示词；编辑专家构建了 120K 样本（局部编辑占 80%，全局变换占 20%，分辨率覆盖 $512^2$ 到 $2048^2$ ）。

训练语料的层次化饼图分布，涵盖图像生成、图像编辑、图文交错以及强化学习四大训练集的细分子类比例

训练超参数与实验配置

模型的渐进式训练分为预训练、中训练、SFT 和在策略蒸馏多个阶段，其关键训练配置如下：

预训练阶段（Stage 1）：包含三个子阶段，训练步数分别为 180K、100K 和 185K 步，序列长度由 8,196 递增至 20,480。学习率采用从 $2 \times 10^{-4}$ 到 $1 \times 10^{-4}$ ，最后采用余弦衰减至 $2 \times 10^{-5}$ 。
统一中训练阶段（Stage 2）：训练 80K 步，最大上下文序列长度为 32,768，学习率为恒定 $2 \times 10^{-5}$ ，混合语料比例为：理解数据 30%、文生图 40%、图像编辑 20%、图文交错 10%。
统一指令微调（Stage 3 SFT）：在精选的高质量指令集上微调 10.5K 步，学习率从 $2 \times 10^{-5}$ 余弦衰减至 0。
多专家蒸馏阶段（Stage 5 OPD）：训练 800 个优化器步，全局批大小（batch size）为 128，梯度累积步数为 1，每领域使用 25,600 样本，使用 AdamW 优化器（ $\beta_1 = 0.9, \beta_2 = 0.999$ ，权重衰减 $10^{-4}$ ，学习率 $2 \times 10^{-5}$ ，BF16 混合精度）。

🛠️ 核心机制与研究方法

SenseNova-U1.5 构建于完全端到端的原生多模态架构之上。整个系统由统一输入编码层、非对称自注意力主干和轻量级空间解码器紧密咬合而成。

SenseNova-U1.5 端到端统一多模态架构图，包含基于 Patch 卷积下采样的编码端与基于卷积及 Pixel Shuffle 的轻量空间解码器

结构化统一架构设计

SenseNova-U1.5 架构配置表，包含 32x32 Patch Size、42 层 Transformer、4096 隐藏维度以及 8.2B 参数规模

模块一：无损视觉编码与多尺度噪声嵌入

对于输入的未失真图像或加噪图像，模型避免引入任何外部视觉编码器：

输入降采样：输入像素直接通过两个带有 GELU 激活的卷积投影层，分别进行 16 倍和 2 倍的下采样，将空间每 $32 \times 32$ 像素压缩为单个连续视觉词元（Token）。
空间与标识编码：采用二维正弦位置编码保持网格坐标，同时用专门的 <img> 与 </img> 标识包裹独立的视觉序列，与经过通用语言分词器切分的文本词元统一映射进 4096 维度的共享隐藏空间。
分辨率感知噪声嵌入：为适应多尺度高分辨率去噪，模型将参考基准分辨率拓展至 $4096 \times 4096$ 。令 $\sigma_R(H, W)$ 表示对应分辨率下的有效噪声尺度，经最值归一化后输入正弦多层感知机 $\mathrm{NSEmb}(\cdot)$ ，与时间步融合为复合状态向量 $s_t = \tau_t + \mathrm{NSEmb}(\bar{\sigma}_R)$ ，为扩散过程赋予清晰的尺度自适应统计先验。

模块二：混合 Transformer（MoT）与非对称自注意力机制

模型参数总量为 8.2B，拥有 42 层 Transformer。在自注意力机制中，模型实现了多模态计算的高度协同与安全隔离：

动态参数路由：虽然文本词元与视觉词元在同一个注意力矩阵中相互作用，但在注意力投影层、LayerNorm 和前馈神经网络（FFN）中，根据词元类型动态路由到理解分支或生成分支的专门参数，保持了双向高层理解与生成合成所需的异质计算特性。
非对称因果掩码：文本词元仅单向关注前面的上下文；无噪理解图像内部遵循全双向注意力以捕获完整空间依赖；加噪生成视觉词元在自身块内双向交互，并完全单向关注所有先验的文本与理解图像上下文。至关重要的是，禁止理解表征向反方向访问加噪生成词元，杜绝了扩散过程随机噪声对模型语义推理逻辑的污染。

模块三：空间耦合解码器与 4K 高分辨率平滑合成

在生成分支的输出端，针对过去独立 MLP 带来的边界伪影痛点，SenseNova-U1.5 设计了空间连贯解码管线：

拓扑还原与亚像素上采样：将骨干网络输出的潜状态 $H \in \mathbb{R}^{B \times hw \times d}$ 重新排列为具备二维几何拓扑的张量 $H_{2D} \in \mathbb{R}^{B \times d \times h \times w}$ 。
多阶段平滑重构：依次通过上采样倍数为 2、2 和 8 的 Pixel Shuffle 结构。在各上采样阶段之间，插入 $3 \times 3$ 空间卷积进行领域特征交换，使得边界像素的色彩和纹理在最终生成前完成跨词元协同决策，从而彻底消除网格拼接纹。

统一训练目标与数学表征

SenseNova-U1.5 在多模态理解与像素级扩散学习中采用了联合联合监督策略。

对于多模态文本理解任务，采用标准的因果自回归最大似然损失：

{\mathcal{L}}_{\mathrm{AR}}=-\frac{1}{N}\sum_{n=1}^{N}\log p_{\theta}(x_{n}\mid x_{<n},c)

其中 $x_n$ 为当前第 $n$ 个目标文本词元，上下文 $c$ 包含前面的图文交错先验序列。

对于视觉生成任务，模型基于 RGB 像素空间流匹配（Flow Matching）框架。为了应对动态分辨率，构建基于分辨率缩放因子的加噪轨迹：

z_{t}=tx+(1-t)\sigma_{\mathrm{R}}(H,W)\epsilon

这里 $\sigma_R(H, W)$ 动态调节噪声方差， $\epsilon \sim \mathcal{N}(0, I)$ 。模型网络预测目标清晰图像 $\hat{x}_\theta$ ，并由此推导出速度场估计值：

v_{\theta}=\frac{\hat{x}_{\theta}-z_{t}}{1-t},\quad v^{\star}=\frac{x-z_{t}}{1-t}

其中 $v_\theta$ 为参数化预测速度， $v^\star$ 为理论目标速度。像素空间流匹配损失函数定义为预测场与目标场的均方误差：

{\mathcal{L}}_{\mathrm{Flow}}=\mathbb{E}\left[\|v_{\theta}-v^{\star}\|_{2}^{2}\right]

为进一步约束画面高频结构与感知一致性，模型在端点预测处引入基于深度特征的 LPIPS 感知损失：

{\mathcal{L}}_{\mathrm{Perc}}=\mathrm{LPIPS}(\hat{x}_{\theta},x)

最终的多任务统一训练总目标函数由三者加权联合优化：

{\mathcal{L}}=\lambda_{\mathrm{AR}}{\mathcal{L}}_{\mathrm{AR}}+\lambda_{\mathrm{Flow}}{\mathcal{L}}_{\mathrm{Flow}}+\lambda_{\mathrm{Perc}}{\mathcal{L}}_{\mathrm{Perc}}

在统一中训练阶段，超参数权重设为 $\lambda_{\mathrm{AR}}=0.1, \lambda_{\mathrm{Flow}}=1.0, \lambda_{\mathrm{Perc}}=0.1$ 。这种损失配比既稳固了预训练的语言与多模态理解基座，又将优化梯度主要向难度极高的像素扩散生成倾斜。

多专家强化学习与在策略蒸馏（MOPD）

SenseNova-U1.5 的后训练流程图，涵盖美学、OCR、信息图与图像编辑四大强化学习专家，以及多专家在策略蒸馏（OPD）路径

💡 关键技巧：不要在一个 policy 中直接对美学分数与 OCR 准确率做线性标量求和，这会导致两种不同量纲的梯度相互抵消；先让各专家在专属奖励空间中演化至极致，再通过在策略速度场蒸馏合体，是多能力融合的最优解。

4 大垂类专家强化学习设计

美学专家（Aesthetic Expert）：采用 CPS（保系数采样， $\eta=0.7$ ）构建 30 步轨迹，在前期 1–10 步中均匀采样连续 5 步更新全局构图。引入 HPSv3++ 作为感知对齐奖励，并按轮次交错输入双语 OCR 奖励，以防视觉优化导致排版退化。
文字渲染专家（OCR Expert）：使用 Precise 随机采样（ $\eta=1.5$ ）与 GRPO-Guard 防止稀疏高奖励引发策略崩溃。引入基于 PaddleOCR 的多重集合交并比（Multiset IoU）评估指标作为强化奖励：

R_{\mathrm{ocr}}=\frac{\sum_{t}\min(g_{t},o_{t})}{\sum_{t}\max(g_{t},o_{t})}

其中 $g_t$ 和 $o_t$ 分别为目标文本与模型识别文本中词元 $t$ 的出现频次。相比全匹配，该公式对字符漏字、错位和重影提供平滑的梯度引导。 3. 信息图设计专家（Infographic Expert）：历经专属中训练、OCR 阶段热身、DPO 偏好对齐（ $\beta=10$ ）以及 GRPO 审美交替迭代，在密集排版与小字可读性上大幅精进。 4. 图像编辑专家（Editing Expert）：放弃易造成画面噪点的 SDE 扰动，采用确定性 ODE 采样配合 EMA 平滑（学习率 $4 \times 10^{-5}$ ）。建立包含 5 大维度的瓶颈聚合编辑奖励：

R_{\mathrm{edit}}=\min(\{R_{\mathrm{inst}},R_{\mathrm{exec}},R_{\mathrm{visual}},R_{\mathrm{pres}}\} \cup \{R_{\mathrm{text}}\mid\text{text edit is applicable}\})

该设计对指令依从度（ $R_{\mathrm{inst}}$ ）、执行完整度（ $R_{\mathrm{exec}}$ ）、全局画面质量（ $R_{\mathrm{visual}}$ ）、非编辑区域一致性（ $R_{\mathrm{pres}}$ ）以及文字修改（ $R_{\mathrm{text}}$ ）取最小值作为瓶颈约束，彻底杜绝了“改对指令却毁坏背景”的投机现象。

多专家在策略蒸馏（Stage 5 MOPD）

最终的统一模型利用学生模型自主生成的轨迹进行单步查询蒸馏：

{\mathcal{L}}_{\mathrm{OPD}}=\mathbb{E}\left[\|v_{\theta}(\mathrm{sg}(\hat{x}_{\theta,t}),t,c)-v_{m}(\mathrm{sg}(\hat{x}_{\theta,t}),t,c)\|_{2}^{2}\right]

其中 $\mathrm{sg}$ 为梯度截断操作，防止误差沿整个反向轨迹反传； $v_m$ 为硬路由对应的第 $m$ 个冻结专家的预测速度场。在蒸馏过程中，时间步查询分布沿训练轮次由强调大局结构的 $\mathrm{Beta}(2, 5)$ 平滑过渡到专注精细纹理细节的 $\mathrm{Beta}(5, 2)$ ，从而将 4 个专家的全部精髓稳定注入统一架构。

📈 结果与深度分析

综合能力评测基准表现

SenseNova-U1.5 在生成、编辑、理解和多轮图文交错任务中展现了极其均衡的统治力：

综合图像生成（GenEval 与 GenEval2）：如表 6 所示，在严苛评估复合提示词生成的 GenEval 基准上，SenseNova-U1.5 综合得分斩获 0.92，力压前代 U1（0.91）、HiDream-O1-Image（0.90）以及 Qwen-Image（0.87），成为目前开源界第一名；在进阶的 GenEval2 评测中，引入结构化提示增强（PE）后评分从 0.55 跃升至 0.71，显著优于 Qwen-Image 的 0.42 与 Z-Image 的 0.31。
中英文图文基准（Qwen-Image-Bench）：在英文子集（EN）与中文子集（ZH）中，配合提示增强分别录得 60.22 与 60.13 的顶尖综合表现，大幅缩小了开源体系与闭源系统 GPT-Image-2（65.23 / 64.69）之间的技术鸿沟。
文字渲染与排版（CVTG-2K & LongText-Bench）：在 CVTG-2K 多区域文字排版中，平均单词识别准确率达到 0.948，在 4 区域与 5 区域的高难度极限测试中依然保持在 0.95 以上；在 LongText-Bench 中，中文测试准确率达到 0.989，彻底解决双语汉字乱码和丢画的通病。
图像编辑与多图参考（WeEdit & OmniRef-Bench）：在 WeEdit 文本编辑榜单中斩获综合均分 7.46，大幅领先 FireRed-Image-Edit（5.87）与 Qwen-Image-Edit（5.38）；在 OmniRef-Bench 多模态大模型评测中，平均得分达 8.15，在姿态保持（0.68）和背景无损保留（0.88）上建立了极高门槛。

SenseNova-U1.5 在 GenEval 基准上与其它开源及闭源大模型在单物体、双物体、计数、颜色、位置及属性绑定维度的对比表

统一底座带来的“理解-生成”双向增益

🚀 重大突破：生成与编辑能力的注入非但没有稀释大语言与视觉理解能力，反而反哺了模型的逻辑推理水平。在 IFEval 复杂文本指令遵循评测中，SenseNova-U1.5 达到 93.35，远超 SenseNova-U1 的 91.13。

在开放式图文交错基准 VBVR-Pro-Bench 测试中，SenseNova-U1.5 在域内交错推理上斩获 67.6%，域外认知泛化得分达 68.9%，超越了闭源专有方案 Nano-Banana-Pro（64.8%）和 GPT-Image-2（58.7%）。这充分印证了：统一空间下生成的图文可以作为多模态思考（Chain-of-Thought）的连续中间态，赋予系统自我反思与具象化推理的能力。

局限性与未来展望

尽管在各方面表现抢眼，作者在报告中亦客观剖析了现存的 两处技术局限性：

⚠️ 局限性：

在复杂空间跨语言直接翻译编辑（如将图像内大段特定招牌文字翻译并无缝重绘为另一语言）以及重度深层逻辑推理编辑任务中，当前模型的理解执行力仍落后于最顶级的闭源模型（WeEdit 翻译相关子任务得分仅 2.19）。

原生 4K 生成需要极为可观的显存吞吐，尽管空间解码器已做轻量化，但在长序列图文交错场景下的显存优化与实时交互仍有较大提升空间。

未来，SenseNova-U1 团队将持续探索端到端无损视觉分词的理论极限，进一步强化图文交错流中的主动视觉规划能力，向全面具备具身空间想象力的完全原生多模态 AGI 不断演进。