Qwen 1.5 MoE

阿里巴巴的高效专家混合(MoE)模型

2024-04-03

Qwen 1.5 MoE
Qwen1.5-MoE-A2.7B是一个小型专家混合(MoE)模型,仅激活了27亿参数,却能媲美Mistral 7B和Qwen1.5-7B等最先进的70亿参数模型。
Qwen 1.5 MoE是阿里云开发的一款高效混合专家(MoE)模型。仅激活27亿参数,就能提供与Mistral 7B和Qwen1.5-7B等70亿参数大模型相媲美的性能。这款紧凑而强大的模型是阿里Qwen系列的一部分,该系列包括为高级AI和机器学习任务设计的大型语言模型(LLMs)和多模态模型。Qwen 1.5 MoE展现了阿里致力于创建可扩展、高性能AI解决方案的决心,使其成为既需要效率又需要尖端能力的应用的理想选择。通过Qwen组织提供的各种演示和集成,探索其潜力。
Open Source Artificial Intelligence GitHub