发布
2025年1月15日,MiniMax 发布并开源了 MiniMax-01 全新系列模型,其中包含两个模型:基础语言大模型 MiniMax-Text-01 和视觉多模态大模型 MiniMax-VL-01。
全新模型架构、性能比肩 GPT-4o
在 MiniMax-01 系列模型中,MiniMax 做了大胆创新:首次大规模实现线性注意力机制,传统 Transformer 架构不再是唯一的选择。
- 参数量:高达 4560 亿,其中单次激活 459 亿
- 上下文长度:支持全球最长 400 万 token 的上下文,是 GPT-4o 的 32 倍,Claude-3.5-Sonnet 的 20 倍
- 综合性能:比肩海外顶尖模型
基于业界主流的文本和多模态理解测评结果,MiniMax-01 在大多数任务上追平了海外公认最先进的两个模型,GPT-4o-1120 以及 Claude-3.5-Sonnet-1022。
超长上下文、开启 Agent 时代
MiniMax 相信 2025 年会是 Agent 高速发展的一年,不管是单 Agent 的系统需要持续的记忆,还是多 Agent 的系统中 Agent 之间大量的相互通信,都需要越来越长的上下文。
在这个模型中,MiniMax 走出了第一步,并希望使用这个架构持续建立复杂 Agent 所需的基础能力。
模型架构
模型使用的结构如下:每 8 层中有 7 个是基于 Lightning Attention 的线性注意力,有一层是传统的 SoftMax 注意力。
这是业内第一次把线性注意力机制扩展到商用模型的级别。MiniMax 从 Scaling Law、与 MoE 的结合、结构设计、训练优化和推理优化等层面做了综合的考虑。
长上下文性能
在长文任务上,MiniMax 对比了之前长文最好的模型 Google 的 Gemini。随着输入长度变长,MiniMax-Text-01 是性能衰减最慢的模型,显著优于 Google Gemini。
受益于架构的创新,模型在处理长输入的时候有非常高的效率,接近线性复杂度。
极致性价比、不断创新
受益于架构的创新、效率的优化、集群训推一体的设计以及内部大量并发算力复用,MiniMax 得以用业内最低的价格区间提供文本和多模态理解的 API:
- 输入 Token:人民币 1 元/百万 Token
- 输出 Token:人民币 8 元/百万 Token
评测结果
学术数据集
在大部份的学术集上,MiniMax 都取得了比肩海外第一梯队的结果:
长上下文评测
在长上下文的测评集上,MiniMax 显著领先:
在 400 万的 Needle-In-A-Haystack 检索任务上全绿:
真实场景测试
除了学术数据集,MiniMax 构建了一个基于真实数据的助手场景中的测试集。在这个场景中,MiniMax-Text-01 的模型表现显著领先:
多模态理解
在多模态理解的测试集中,MiniMax-VL-01 的模型也较为领先:
开源与使用
为方便开发者做更多的研究,MiniMax 开源了两个模型的完整权重,后续也会持续更新,包括代码和多模态相关的后续强化。
- GitHub:https://github.com/MiniMax-AI
- MiniMax 开放平台(国内):https://www.minimaxi.com/platform
- MiniMax 开放平台(海外版):https://www.minimaxi.com/en/platform
选择开源,一是因为 MiniMax 认为这有可能启发更多长上下文的研究和应用,从而更快促进 Agent 时代的到来;二是开源也能促使团队努力做更多创新,更高质量地开展后续的模型研发工作。
除了开源和极高性价比的 API 之外,在海螺 AI(国内 APP 以及网站 hailuoai.com),以及海外网站 hailuo.ai 上都可以访问使用。