大语言模型大多基于离散Token自回归范式开展文本建模，而连续扩散语言模型借鉴图像扩散生成思路，尝试在连续向量空间完成语言生成，成为当下AI领域的前沿研究方向。在南京大学鲲鹏昇腾科教创新孵化中心的算力支持下，南京大学模式识别实验室（PRLab）司晨阳教授团队依托昇腾NPU算力，推出AURORA‑LM连续扩散语言模型，首次在昇腾NPU上完成连续扩散语言模型训练到推理的全流程验证，为自主AI算力生态打造前沿科研标杆成果。

连续空间语言建模存在一个核心技术难题：语言本身由离散Token构成，连续空间生成后，需要把连续潜变量（latent）序列精准映射回文本。这就要求latent序列既要承载充足语义信息保障解码效果，同时其分布又要便于模型学习，这也是当前统一模型体系探索过程中的关键瓶颈。

AURORA‑LM将连续语言生成拆解为编码重建、分布学习两大阶段，针对性破解该技术痛点。第一阶段为高容量连续自编码器，负责生成适配文本前缀顺序、语义完备的连续latent 序列。编码器和解码器以还原原始Token作为训练目标，训练过程中随机丢弃部分Token，以此提升模型解码的鲁棒性，保障面对噪声扰动时依旧可以还原文本信息。

第二阶段为分块因果扩散模型，完成latent序列的分布学习。模型设计分块因果掩码机制，块与块之间使用从左至右的因果注意力，保证上下文时序依赖；块内部启用双向注意力，实现块内联合去噪、并行生成。训练环节针对带噪latent 块直接预测对应的干净latent，在完整latent空间计算训练误差；推理阶段块间顺序生成，借助KV Cache复用前缀计算结果，块内同步完成联合去噪输出，兼顾生成正确性与推理效率。

模型结构

围绕模型训练与采样的现实痛点，团队实现三项关键技术优化。研究采用高容量latent 设计，提升向量维度来承载更加丰富的语义，即便叠加噪声干扰，依旧保留充足可解码信息。

如图（a）显示，增加latent向量的维度后，其在噪声扰动下仍能保留更多可供解码的文本信息；图（b）显示，不同宽度校准训练噪声分配后，生成质量也随之提升。

同时团队开展训练策略优化，适度收窄带噪输入维度、提高高噪声状态的训练概率，显著改善文本生成质量。

图（a）显示，适度收窄带噪输入维度（bottleneck），极大程度提升最终模型文本生成的质量；图（b）显示，输入高噪声状态的概率可进一步提升生成结果。

此外研究提出自轨迹一致性机制，约束相邻去噪步骤对干净latent的预测保持一致，有效抑制少步生成场景下的误差累积。实验表明，该机制在全部生成步数均可提升效果，少步采样场景收益最为突出。

开启自轨迹一致性机制（Consistency on）与关闭该机制（Consistency off）在不同去噪步数下的MAUVE指标

在实验评测中，AURORA‑LM充分验证了技术方案的有效性与可扩展性。在130M参数规模下，OpenWebText自由生成任务中Gen‑PPL降至23.56、MAUVE达到0.890，两项指标优于自回归、离散扩散等对比模型；在XSum条件摘要任务，ROUGE‑1/2/L分别取得36.6、13.4、28.9，三项指标均位列第一。模型扩展至1B参数规模后，基于开源数据完成约1500 EFLOPs训练量。在九项语言基准任务评测中平均得分32.6，对比参数量更大的公开连续语言模型，实现九项任务全部领先，证明整套架构具备良好的规模扩展能力。

图(a) 显示，130M 参数规模下 AURORA‑LM‑S与多款基线模型在自由生成、摘要任务上的综合指标对比；图(b) 显示，1B 参数规模AURORA‑LM‑L在九项语言基准任务上与对照模型的能力对比。

目前AURORA‑LM论文和项目主页均已对外发布，可供广大科研人员与开发者查阅使用。面向未来，在技术方向上，AURORA‑LM将为更长上下文、更大规模连续语言模型提供可行的技术路径，推动连续扩散生成和离散Token解码深度融合。在应用方向上，研究团队计划将这套框架拓展到多模态交互、对话系统等更多业务场景。华为将继续通过鲲鹏昇腾科教创新孵化中心，持续深化与高校科研团队的协同创新，为大模型前沿基础研究提供算力支撑，持续丰富自主AI算力的技术生态。