模型介绍
随着人工智能技术的快速发展，大型语言模型（LLMs）在自然语言处理、计算机视觉和科学任务等领域取得了显著进展。然而，随着模型规模的扩大，如何在保持高性能的同时优化资源消耗成为一个关键挑战。为了应对这一挑战，腾讯研究了混合专家（MoE）模型。
本次亮相的 Hunyuan-Large（Hunyuan-MoE-A52B） 模型，是目前业界已经开源的基于 Transformer 的最大 MoE 模型，拥有 3890 亿总参数 和 520 亿激活参数。
通过开源 Hunyuan-Large 的技术成果，腾讯希望激发更多研究者的创新灵感，共同推动 AI 技术的进步和应用。
模型下载
| 模型 | HuggingFace 下载地址 | 腾讯云下载地址 |
|---|---|---|
| Hunyuan-A52B-Instruct-FP8 | Hunyuan-A52B-Instruct-FP8 | Hunyuan-A52B-Instruct-FP8 |
| Hunyuan-A52B-Instruct | Hunyuan-A52B-Instruct | Hunyuan-A52B-Instruct |
| Hunyuan-A52B-Pretrain | Hunyuan-A52B-Pretrain | Hunyuan-A52B-Pretrain |
技术优势
模型特性
- 高质量合成数据：通过合成数据增强训练，Hunyuan-Large 能够学习到更丰富的表示，处理长上下文输入，并更好地泛化到未见数据
- KV 缓存压缩：采用分组查询注意力（GQA）和跨层注意力（CLA）策略，显著减少了 KV 缓存的内存占用和计算开销，提高了推理吞吐
- 专家特定学习率缩放：为不同专家设置不同的学习率，确保每个子模型都能有效地从数据中学习，并为整体性能做出贡献
- 长上下文处理能力：预训练模型支持高达 256K 的文本序列，Instruct 模型支持 128K 的文本序列，显著提升了长上下文任务的处理能力
- 广泛的基准测试：在多种语言和任务上进行广泛实验，验证了 Hunyuan-Large 的实际应用效果和安全性
推理框架
Hunyuan-Large 模型支持 TRT-LLM-backend 和 vLLM-backend 推理框架。腾讯在开源框架的基础上适配了 Hunyuan-Large 模型：
- 新增的 CLA 结构可以很大程度节约显存（KV-Cache 部分节省 50%），保障超长文本场景
- 通过 FP8 的量化优化，相比 FP16/BF16 常规量化，在最大限度保障精度的条件下，节省 50% 显存，吞吐提升 70%
- 基于 TRT-LLM 的底层高效算子，其性能相比 vLLM 提升 30% 以上，目前 TRT-LLM 方案在腾讯混元项目广泛使用
训练框架
Hunyuan-Large 开源模型已经支持 Hugging Face 格式，支持用户采用 hf-deepspeed 框架进行模型精调，同时也支持利用 flash-attn 进行训练加速。相关的训练脚本和模型实现也已开放给社区。
Benchmark 评估榜单
预训练模型性能
Hunyuan-Large 预训练模型 与具有相似激活参数大小的 Dense 和 MoE 竞争对手相比，实现了最佳的整体性能。对于 MMLU、MMLU-Pro、CMMLU 等基准评测，Hunyuan-Large 的性能始终保持在最佳水准。
| 模型 | LLama3.1-405B | LLama3.1-70B | Mixtral-8x22B | DeepSeek-V2 | Hunyuan-Large |
|---|---|---|---|---|---|
| MMLU | 85.2 | 79.3 | 77.8 | 78.5 | 88.4 |
| MMLU-Pro | 61.6 | 53.8 | 49.5 | - | 60.2 |
| BBH | 85.9 | 81.6 | 78.9 | 78.9 | 86.3 |
| CommonsenseQA | 85.8 | 84.1 | 82.4 | - | 92.9 |
| WinoGrande | 86.7 | 85.3 | 85.0 | 84.9 | 88.7 |
| PIQA | - | - | 83.6 | 83.7 | 88.3 |
| NaturalQuestions | - | - | 39.6 | 38.7 | 52.8 |
| DROP | 84.8 | 79.6 | 80.4 | 80.1 | 88.9 |
| TriviaQA | - | - | 82.1 | 79.9 | 89.2 |
| CMMLU | - | - | 60.0 | 84.0 | 90.2 |
| C-Eval | - | - | 59.6 | 81.7 | 91.9 |
| GSM8K | 89.0 | 83.7 | 83.7 | 79.2 | 92.8 |
| MATH | 53.8 | 41.4 | 42.5 | 43.6 | 69.8 |
| CMATH | - | - | 72.3 | 78.7 | 91.3 |
| HumanEval | 61.0 | 58.5 | 53.1 | 48.8 | 71.4 |
Instruct 模型性能
Hunyuan-Large-Instruct 与具有相似激活参数的 LLM 相比，在大多数任务上实现了一致的性能提升。值得注意的是，在 MMLU 数据集上，模型相比 Llama3.1-405B 高出 2.6%；在 MATH 数据集上高出 3.6%。
| 模型 | LLama3.1 405B Inst. | LLama3.1 70B Inst. | Mixtral 8x22B Inst. | DeepSeekV2.5 Chat | Hunyuan-Large Inst. |
|---|---|---|---|---|---|
| MMLU | 87.3 | 83.6 | 77.8 | 80.4 | 89.9 |
| CMMLU | - | - | 61.0 | - | 90.4 |
| C-Eval | - | - | 60.0 | - | 88.6 |
| BBH | - | - | 78.4 | 84.3 | 89.5 |
| MATH | 73.8 | 68.0 | 49.8 | 74.7 | 77.4 |
| HumanEval | 89.0 | 80.5 | 75.0 | 89.0 | 90.0 |
| AlignBench | 6.0 | 5.9 | 6.2 | 8.0 | 8.3 |
| MT-Bench | 9.1 | 8.8 | 8.1 | 9.0 | 9.4 |
| Arena-Hard | 69.3 | 55.7 | - | 76.2 | 81.8 |
| AlpacaEval-2.0 | 39.3 | 34.3 | 30.9 | 50.5 | 51.8 |
新闻
- 2024.11.25：自主开发的长上下文评估集——PenguinScrolls 正式发布
- 2024.11.20：Hunyuan-A52B-Instruct 和 Hunyuan-A52B-Instruct-FP8 模型权重更新
- 2024.11.5：TI 平台已经集成 Hunyuan-Large 模型
- 2024.11.5：在 Hugging Face 开源了 Hunyuan-A52B-Pretrain、Hunyuan-A52B-Instruct 和 Hunyuan-A52B-Instruct-FP8
相关链接
- 🤗 Hugging Face：https://huggingface.co/tencent/Tencent-Hunyuan-Large
- 🖥️ 官网：https://llm.hunyuan.tencent.com/
- 🕖 混元API：https://cloud.tencent.com/product/hunyuan
- 📄 技术报告：https://arxiv.org/abs/2411.02265
- 🐳 Gitee：https://gitee.com/Tencent/Tencent-Hunyuan-Large