Qwen1.5-32B：Qwen1.5语言模型系列的最后一块拼图

简介

开源社区长期以来一直在寻求一种能在性能、效率和内存占用之间达到理想平衡的模型。尽管出现了诸如 Qwen1.5-72B 和 DBRX 这样的 SOTA 模型，但这些模型持续面临诸如内存消耗巨大、推理速度缓慢以及显著的微调成本等问题。当前，参数量约 30B 的模型往往在这方面被看好，得到很多用户的青睐。顺应这一趋势，我们推出 Qwen1.5 语言模型系列的最新成员：Qwen1.5-32B 和 Qwen1.5-32B-Chat。

过去数月中，我们精心研发了 Qwen1.5-32B 基础模型，旨在对标甚至超越当前最先进的 30B 模型所设定的性能基准。同时，我们在对齐方面取得了进展，特别是在 RLHF 方面，以提升 Qwen1.5-32B-Chat 的对话能力。

模型效果

Qwen1.5-32B 是 Qwen1.5 语言模型系列的最新成员，除了模型大小外，其在模型架构上除了 GQA 几乎无其他差异。GQA 能让该模型在模型服务时具有更高的推理效率潜力。

以下我们将对比展示其与参数量约为 30B 或更大的当前最优（SOTA）模型在基础能力评估、chat 评估以及多语言评估方面的性能。以下是对于基础语言模型能力的评估结果：

我们的 32B 模型在多种任务上展现出颇具竞争力的表现，涵盖 MMLU、GSM8K、HumanEval 以及 BBH 等。相较于 72B 参数模型，Qwen1.5-32B 虽在性能上有轻微下降，但在多数任务中仍优于其他 30B 级别模型，如 Llama2-34B 和 Mixtral-8x7B。

而在 Chat 模型的评估上，我们遵循 Qwen1.5 的评估方案，对它们在 MT-Bench 与 Alpaca-Eval 2.0 上的表现进行了测试。具体结果如下：

值得注意的是，Qwen1.5-32B-Chat 的得分超过 8 分，且 Qwen1.5-32B-Chat 与 Qwen1.5-72B-Chat 之间的差距相对较小。这一结果表明，对于需要更高效、更经济实惠的应用解决方案的用户而言，32B 模型是一个可行的选择。

我们还对 Qwen1.5-32B 的多语言能力进行了测试，涵盖了包括阿拉伯语、西班牙语、法语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语和印尼语在内的 12 种语言，涉及考试、理解、数学及翻译等多个领域。具体结果如下所示：

与其他 Qwen1.5 模型相似，32B 版本同样具备出色的多语言能力，其表现略逊于 72B 模型。

最后，我们关注其在长文本评估任务"大海捞针"中的表现，令人欣喜的是，该模型能够在长达 32K tokens 的上下文中实现了优秀的表现。

使用 Qwen1.5-32B

我们建议您阅读 Qwen1.5 的博客了解更多关于在 transformers、llama.cpp、vLLM、Ollama 等框架上使用的方法。

结语

我们发布了中等规模模型 Qwen1.5-32B 及其 Chat 模型。相较于 72B 模型，这些模型的内存占用大幅减少，运行速度显著提升。我们期望此次发布能帮助用户为其下游应用找到更优解决方案，以应对 14B 模型尤其在智能体场景下能力偏弱以及 72B 模型推理成本过高的问题。

引用

bibtex
@misc{qwen1.5,
    title = {Introducing Qwen1.5},
    url = {https://qwenlm.github.io/blog/qwen1.5/},
    author = {Qwen Team},
    month = {February},
    year = {2024}
}