Hy3 preview 开源 - 2950亿参数MoE，混元大模型重建第一步 - 元宝

模型介绍

Hy3 preview 是腾讯混元团队开发的 2950 亿参数混合专家（MoE）模型，激活参数 21B，MTP 层参数 38 亿。

Hy3 preview 是在重建的基础设施上训练的第一个模型，也是混元迄今为止发布的最强模型。它在复杂推理、指令遵循、上下文学习、编码和智能体任务上有显著改进。

模型规格

属性	值
架构	Mixture-of-Experts (MoE)
总参数	295B
激活参数	21B
MTP 层参数	3.8B
层数（不含 MTP 层）	80
MTP 层数	1
注意力头数	64（GQA，8 个 KV 头，头维度 128）
隐藏层大小	4096
中间层大小	13312
上下文长度	256K
词汇表大小	120832
专家数量	192 个专家，激活前 8 个
支持精度	BF16

核心亮点

STEM 与推理

复杂推理是一切能力的基础。Hy3 preview 在具有挑战性的 STEM 基准测试（如 FrontierScience-Olympiad 和 IMOAnswerBench）上表现出色，并在清华大学求真书院数学博士资格考试（2026 春季）和全国中学生生物学联赛（CHSBO 2025）中取得优异成绩，展示了可泛化的推理能力。

STEM & Reasoning benchmarks

上下文学习与指令遵循

真实世界的任务需要解析混乱冗长的上下文、遵循复杂规则的能力。腾讯混元从自身业务场景出发构建了 CL-bench 和 CL-bench-Life，以创新性方式衡量上下文学习能力。Hy3 preview 在上下文学习和指令遵循能力上都展现了扎实的提升。

Context Learning & Instruction Following benchmarks

代码与智能体

编码和智能体是提升最大的领域。借助重建的 RL 基础设施和更大规模的训练任务，Hy3 preview 在主流编码智能体基准测试（SWE-bench Verified、Terminal-Bench 2.0）和搜索智能体基准测试（BrowseComp、WideSearch）上取得了具有竞争力的分数。

Agent benchmarks overview

编码关系到模型能否在开发环境中执行，搜索关系到模型能否从开放网络中找到并组合信息。两者对于 OpenClaw 等复杂智能体场景都至关重要。Hy3 preview 在 ClawEval 和 WildClawBench 上得分优异——这表明它的智能体能力正在变得实用。

Claw Agent benchmarks

除公开基准测试外，腾讯混元还构建了内部评测集来测试真实开发场景下的模型。在 Hy-Backend（后端专注任务）、Hy-Vibe Bench（真实用户开发工作流）和 Hy-SWE Max 上，Hy3 preview 与其他开源模型相比具有竞争力。

Internal benchmarks

预训练模型性能

类别	基准测试（指标）	# Shots	Kimi-K2 BASE	DeepSeek-V3 BASE	GLM-4.5 BASE	Hy3 preview-Base
	#激活参数	-	32B	37B	32B	21B
	#总参数	-	1043B	671B	355B	295B
英文	MMLU	5-shot	88.24	87.68	87.73	87.42
	MMLU-Pro	5-shot	65.98	63.98	63.67	65.76
	MMLU-Redux	5-shot	87.18	86.81	86.56	86.86
	ARC-Challenge	0-shot	96.66	94.65	96.32	95.99
	DROP	5-shot	86.40	86.50	82.90	85.50
	SuperGPQA	5-shot	51.10	46.17	49.64	51.60
代码	MBPP-plus	3-shot	81.35	75.47	78.05	78.71
	CRUXEval-I	3-shot	68.01	67.79	68.51	71.19
	LiveCodeBench-v6	1-shot	30.86	29.31	27.43	34.86
数学	GSM8K	4-shot	93.46	88.15	90.06	95.37
	MATH	4-shot	71.20	59.37	61.00	76.28
	CMath	4-shot	90.83	85.50	89.33	91.17
中文	C-Eval	5-shot	91.51	90.35	85.84	89.80
	CMMLU	5-shot	90.72	87.90	86.46	89.61
多语言	MMMLU	5-shot	77.63	79.54	79.26	80.15
	INCLUDE	5-shot	75.66	77.86	76.27	78.64

模型下载

模型名称	描述	Hugging Face	ModelScope	GitCode
Hy3 preview	Instruct 模型	Model	Model	Model
Hy3 preview-Base	预训练基础模型	Model	Model	Model

快速开始

部署 Hy3 preview 后，可以通过 OpenAI 兼容 API 调用：

python
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
response = client.chat.completions.create(
    model="hy3-preview",
    messages=[
        {"role": "user", "content": "Hello! Can you briefly introduce yourself?"},
    ],
    temperature=0.9,
    top_p=1.0,
    extra_body={"chat_template_kwargs": {"reasoning_effort": "no_think"}},
)
print(response.choices[0].message.content)

推荐参数：temperature=0.9，top_p=1.0

推理模式：复杂任务（数学、编码、推理）设置 reasoning_effort 为 "high"，直接响应设置为 "no_think"

部署

vLLM

bash
vllm serve tencent/Hy3-preview \
  --tensor-parallel-size 8 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 1 \
  --tool-call-parser hy_v3 \
  --reasoning-parser hy_v3 \
  --enable-auto-tool-choice \
  --served-model-name hy3-preview

SGLang

bash
python3 -m sglang.launch_server \
  --model tencent/Hy3-preview \
  --tp 8 \
  --tool-call-parser hunyuan \
  --reasoning-parser hunyuan \
  --speculative-num-steps 1 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 2 \
  --speculative-algorithm EAGLE \
  --served-model-name hy3-preview

新闻

2026-04-23 🔥 Hy3 preview 模型权重在 Hugging Face、ModelScope 和 GitCode 上开源

许可协议

Hy3 preview 基于 腾讯混元社区许可协议 发布。

联系方式

📧 hunyuan_opensource@tencent.com