简介
近期开源社区陆续出现了千亿参数规模以上的大模型，这些模型都在各项评测中取得杰出的成绩。今天，我们开源 1100 亿参数的 Qwen1.5 系列首个千亿参数模型 Qwen1.5-110B，该模型在基础能力评估中与 Meta-Llama3-70B 相媲美，在 Chat 评估中表现出色，包括 MT-Bench 和 AlpacaEval 2.0。
模型特性
Qwen1.5-110B 与其他 Qwen1.5 模型相似，采用了相同的 Transformer 解码器架构。它包含了分组查询注意力（GQA），在模型推理时更加高效。该模型支持 32K tokens 的上下文长度，同时它仍然是多语言的，支持英、中、法、西、德、俄、日、韩、越、阿等多种语言。
模型效果
我们对基础语言模型进行了一系列评估，并与最近的 SOTA 语言模型 Meta-Llama3-70B 以及 Mixtral-8x22B 进行了比较。
| 基准测试 | Qwen1.5-110B | Qwen1.5-72B | Llama-3-70B | Mixtral-8x22B |
|---|---|---|---|---|
| MMLU | 80.4 | 77.5 | 79.5 | 77.8 |
| TheoremQA | 34.9 | 29.3 | 32.0 | 35.9 |
| GPQA | 35.9 | 36.3 | 36.4 | 34.3 |
| Hellaswag | 87.5 | 86.0 | 88.0 | 88.7 |
| BBH | 74.8 | 65.5 | 76.6 | 69.2 |
| ARC-C | 69.6 | 65.9 | 68.8 | 70.7 |
| GSM8K | 85.4 | 79.5 | 79.2 | 78.6 |
| MATH | 49.6 | 34.1 | 41.0 | 41.7 |
| HumanEval | 52.4 | 41.5 | 45.7 | 45.1 |
| MBPP | 58.1 | 53.4 | 55.1 | 71.2 |
上述结果显示，新的 110B 模型在基础能力方面至少与 Llama-3-70B 模型相媲美。在这个模型中，我们没有对预训练的方法进行大幅改变，因此我们认为与 72B 相比的性能提升主要来自于增加模型规模。
我们还在 MT-Bench 和 AlpacaEval 2.0 上进行了 Chat 评估，结果如下：
| Models | MT-Bench / Avg. Score | AlpacaEval 2.0 / LC Win Rate |
|---|---|---|
| Llama-3-70B-Instruct | 8.85 | 34.40 |
| Qwen1.5-72B-Chat | 8.61 | 36.60 |
| Qwen1.5-110B-Chat | 8.88 | 43.90 |
与之前发布的 72B 模型相比，在两个 Chat 模型的基准评估中，110B 表现显著更好。评估结果的持续改善表明，即使在没有大幅改变后训练方法的情况下，更强大、更大规模的基础语言模型也可以带来更好的 Chat 模型。
使用 Qwen1.5-110B
我们建议您阅读 Qwen1.5 的博客了解更多关于在 transformers、llama.cpp、vLLM、Ollama、LMStudio、SkyPilot、Axolotl、LLaMA-Factory 等框架上使用的方法。
结语
Qwen1.5-110B 是 Qwen1.5 系列中规模最大的模型，也是该系列中首个拥有超过 1000 亿参数的模型。它在与最近发布的 SOTA 模型 Llama-3-70B 的性能上表现出色，并且明显优于 72B 模型。这告诉我们，在模型大小扩展方面仍有很大的提升空间。虽然 Llama-3 的发布表明预训练数据规模具有重要意义，但我们相信通过在未来的发布中同时扩展数据和模型大小，我们可以同时获得两者的优势。敬请期待 Qwen2！
引用
bibtex
@misc{qwen1.5,
title = {Introducing Qwen1.5},
url = {https://qwenlm.github.io/blog/qwen1.5/},
author = {Qwen Team},
month = {February},
year = {2024}
}