发布
2024年1月16日，MiniMax 发布了 abab6 大语言模型，这是国内首个基于 MoE（混合专家模型，Mixture of Experts）架构的千亿参数大模型。abab6 的发布标志着国内大模型技术正式进入 MoE 时代。
核心特性
MoE 混合专家架构
abab6 采用了业界前沿的 MoE（混合专家模型）架构：
- 参数规模：千亿级总参数，通过 MoE 技术实现激活参数的动态路由
- 推理效率：每次推理仅激活部分专家，显著提升推理效率
- 性能表现：在保持高推理效率的同时，提供媲美稠密大模型的性能
能力提升
- 中文理解：针对中文场景深度优化，理解和生成质量大幅提升
- 长文本处理：支持更长的上下文窗口，提升长文档理解能力
- 多轮对话：改进对话连贯性与记忆能力
- 推理能力：增强逻辑推理、数学计算等复杂任务能力
技术意义
abab6 的发布具有重要的技术意义：
- 国内首个 MoE 千亿模型：填补了国内在 MoE 架构千亿级大模型领域的空白
- 效率与性能的平衡：通过 MoE 架构实现了性能与推理成本的最佳平衡
- 技术积累：为后续 abab6.5 系列、MiniMax-01 系列以及 M 系列模型奠定了坚实的技术基础
发展历程
abab6 是 MiniMax 大模型演进中的重要节点：
- abab 系列早期：从 abab5 开始，逐步验证大模型技术路线
- abab6（2024年1月）：国内首个 MoE 千亿参数大模型
- abab6.5 系列（2024年4月）：万亿参数，200K 超长上下文
- abab7-preview（2024年11月）：长文、数学、写作能力大幅提升
- MiniMax-01 系列（2025年1月）：线性注意力架构创新，400万 token 上下文
- M 系列（2025年起）：M1、M2、M2.1、M2.5、M2.7、M3 持续迭代