Dream 7B

介绍Dream 7B，迄今为止最强大的开放扩散大型语言模型。性能媲美甚至超越同规模的AR模型（如LLaMA3、Qwen2.5）。擅长规划并提供灵活的推理能力。

**Dream 7B** 是由香港大学与华为诺亚方舟实验室合作开发的一款前沿开放扩散大语言模型。它在通用、数学和编码任务上超越了现有的扩散模型，并与LLaMA3和Qwen2.5等自回归模型相匹敌甚至更胜一筹。其关键优势包括卓越的规划能力和灵活的推理能力，这得益于其双向上下文建模。与自回归模型不同，Dream 7B能够并行优化序列，从而在生成速度和质量上实现动态调整。该模型基于5800亿标记训练，并从Qwen2.5初始化，利用了如上下文自适应噪声重新调度等创新技术以实现高效学习。Dream 7B在需要复杂推理的任务中表现出色，使其成为自主代理和长期规划等应用的有力候选。模型权重已公开发布以支持进一步研究。