Qwen3.5-Omni 是 Qwen 最新一代全模态大模型，支持文本、图片、音频、音视频理解。结构上，Qwen3.5-Omni 的 Thinker 与 Talker 均采用 Hybrid-Attention MoE 架构。Qwen3.5-Omni 系列包含 Plus、Flash、Light 三种尺寸的 Instruct 版本，支持 256k 长上下文，模型支持超过 10 小时的音频输入及超过 400 秒的 720P（1 FPS）音视频输入。模型在海量文本、视觉以及超过 1 亿小时的音视频数据上进行原生多模态预训练，展现出卓越的全模态感知与生成能力。
相比 Qwen3-Omni，Qwen3.5-Omni 多语言能力大大增强，能够支持 113 种语种和方言的语音识别和 36 种语种和方言的语音生成。目前可通过 Offline API 和 Realtime API 进行体验。
离线（Offline）
Qwen3.5-Omni-Plus 在音频/音视频的理解、推理和交互任务上共取得了 215 项子任务/Benchmark 的 SOTA 成绩，涵盖：
- 3 个音视频 Benchmark
- 5 个音频 Benchmark
- 8 个 ASR Benchmark
- 156 个面向语种的 S2TT 任务
- 43 个面向语种的 ASR 任务
其中，通用音频理解/推理/识别/翻译/对话全面超越 Gemini-3.1 Pro，音视频理解能力总体达到 Gemini-3.1 Pro 水平，同时视觉/文本能力达到同尺寸 Qwen3.5 模型效果。
Qwen3.5-Omni-Plus 的一个强大特性是 音视频 Caption 能力，可以生成可控的、详细的、结构化的音视频 Caption，并生成剧本级细粒度描述，包括自动切片、时间戳打标和人物与音频关系的详细介绍。
除此以外，通过原生多模态 Scaling，我们观察到了全模态模型涌现出了可以根据音视频指令直接进行 coding 的能力，我们称之为 Audio-Visual Vibe Coding。
实时（Realtime）
除了强大的基座能力，更进一步地，我们着重加强了 Qwen3.5-Omni 的交互能力：
- 语义打断：基于 Omni 开发了自动识别 turn-taking 意图的能力，避免附和和无意义背景音打断
- WebSearch 和 Function Call：模型可以自主判断是否需要拉起 WebSearch 来回应用户的即时问题
- 端到端语音控制：模型可以像人一样遵循指令，对声音的大小、语速、情绪等进行自由控制
- 音色克隆：用户上传音色来定制 AI Assistant 音色
- ARIA 技术：针对流式语音交互中由于文本与语音 Token 编码效率差异导致的语音不稳定性，动态对齐文本与语音单元，在保证实时性的前提下，显著提升了语音合成的自然度与鲁棒性
模型效果
音视频
| 基准测试 | Gemini-3.1 Pro | Qwen3.5-Omni-Flash | Qwen3.5-Omni-Plus |
|---|---|---|---|
| DailyOmni | 82.7 | 81.8 | 84.6 |
| WorldSense | 65.5 | 57.9 | 62.8 |
| AVUT | 85.6 | 81.4 | 85.0 |
| AV-SpeakerBench | 75.1 | 65.2 | 71.3 |
| VideoMME (with audio) | 89.0 | 79.3 | 83.7 |
| QualcommInteractive | 66.2 | 66.3 | 68.5 |
| Omni-Cloze | 57.2 | 63.0 | 64.8 |
| OmniGAIA | 68.9 | 33.9 | 57.2 |
音频
| 基准测试 | Gemini-3.1-Pro | Qwen3.5-Omni-Flash | Qwen3.5-Omni-Plus |
|---|---|---|---|
| MMAU | 81.1 | 80.4 | 82.2 |
| MMAR | 83.7 | 74.0 | 80.0 |
| MMSU | 81.3 | 72.2 | 82.8 |
| RUL-MuchoMusic | 59.6 | 60.5 | 72.4 |
| VoiceBench | 88.9 | 87.8 | 93.1 |
| SpeechRole | 124.2 | 119.8 | 123.5 |
ASR（WER/CER，越低越好）
| 基准测试 | Gemini-3.1-Pro | Qwen3.5-Omni-Flash | Qwen3.5-Omni-Plus | |
|---|---|---|---|---|
| Fleurs(top60) | 7.32 | 10.75 | 6.55 | |
| Librispeech(clean | other) | 3.36 / 4.41 | 1.30 / 2.43 | 1.11 / 2.23 |
| Wenetspeech(net | meeting) | 11.53 / 14.21 | 4.41 / 5.51 | 4.30 / 5.84 |
视觉
| 基准测试 | Qwen3.5-Plus-NoThinking | Qwen3.5-Omni-Flash | Qwen3.5-Omni-Plus |
|---|---|---|---|
| MMMU | 81.0 | 76.9 | 80.1 |
| RealWorldQA | 79.1 | 77.5 | 84.1 |
| MMStar | 80.3 | 75.7 | 79.4 |
| AI2D_TEST | 92.1 | 89.0 | 91.2 |
| CountBench | 95.1 | 88.2 | 95.1 |
文本
| 基准测试 | Qwen3.5-Plus-NoThinking | Qwen3.5-Omni-Flash | Qwen3.5-Omni-Plus |
|---|---|---|---|
| MMLU-Pro | 86.8 | 79.9 | 85.9 |
| SuperGPQA | 67.4 | 54.9 | 66.4 |
| IFEval | 89.7 | 85.2 | 89.7 |
| GPQA | 85.9 | 76.4 | 83.9 |
语音生成
#### Custom Voice Stability（WER，越低越好）
| 基准测试 | ElevenLabs | Gemini-2.5 Pro | GPT-Audio | Minimax | Qwen3.5-Omni-Plus |
|---|---|---|---|---|---|
| Seed-zh | 13.08 | 2.42 | 1.11 | 1.19 | 1.07 |
| Seed-en | 1.17 | 1.18 | 1.16 | 1.35 | 1.35 |
| Seed-hard | 27.70 | 11.57 | 8.19 | 8.62 | 6.24 |
| Public-Multilingual-avg (20 lang) | 12.62 | 2.72 | 2.65 | 2.16 | 2.06 |
#### Voice Clone（Stability: WER↓ / Similarity: SIM↑）
| 基准测试 | ElevenLabs | Minimax | Ground-Truth | Qwen3.5-Omni-Plus |
|---|---|---|---|---|
| Public-Multilingual-avg Stability | 10.29 | 2.52 | - | 1.87 |
| Public-Multilingual-avg Similarity | 0.65 | 0.76 | - | 0.79 |
模型架构
Qwen3.5-Omni 延续采用 Thinker-Talker 架构：
- Thinker：通过 Vision Encoder 和 AuT 接受视觉和音频信号输入，音视频信号通过 interleave 交织并搭配 TMRoPE 编码位置信息，负责处理全模态信号并输出文本
- Talker：负责接收来自 Thinker 的多模态输入以及文本输出，进行 contextual 语音生成，语音表征通过 RVQ 编码来替代繁重的 DiT 运算
由于 chunk-wise 的流式输入设计和流式 Talker 设计，整个模型可以进行 realtime interaction。
Talker 在输入的组织方式上采用了 ARIA（自适应速率交错对齐，Adaptive Rate Interleave Alignment）来动态对齐文本与语音单元，然后进行交错排布，以避免由于文本与语音 Token 编码效率差异导致的语音不稳定性。
Qwen3.5-Omni vs Qwen3-Omni
| 特性 | Qwen3-Omni | Qwen3.5-Omni |
|---|---|---|
| 主干框架 | MoE | Hybrid-MoE |
| 支持序列 | 32k | 256k |
| 音频输入 | 10个小时 | 10个小时 |
| 音视频 (FPS=1) | - | 400秒 |
| Caption能力 | 音频 | 音视频 |
| 智能语义打断 | 无 | 支持 |
| WebSearch/Tool | 无 | 原生API支持 |
| 语音控制 | 无 | 支持 |
| 音色克隆 | 无 | 支持 |
| Talker | 双轨自回归 | Interleave |
| Text-Audio Tokenizer Rate | Fixed (1:1) | ARIA |
语音识别
Qwen3-Omni：
- 11种多语言：中文、英语、德语、法语、意大利语、泰语、韩语、日语、俄语、西班牙语、葡萄牙语
- 8种方言：四川话、上海话、粤语、闽南语、陕西话、南京话、天津话、北京话
Qwen3.5-Omni：
- 74种多语言：南非语、阿拉伯语、阿斯图里亚斯语、阿塞拜疆语、巴斯克语、白俄罗斯语、孟加拉语、波斯尼亚语、保加利亚语、粤语、加泰罗尼亚语、宿务语、中文、克罗地亚语、捷克语、丹麦语、荷兰语、英语、世界语、爱沙尼亚语、菲律宾语、芬兰语、法语、加利西亚语、格鲁吉亚语、德语、希腊语、希伯来语、印地语、匈牙利语、冰岛语、印尼语、国际语、意大利语、日语、爪哇语、卡纳达语、哈萨克语、韩语、柯尔克孜语、林加拉语、拉脱维亚语、立陶宛语、马其顿语、马来语、马拉雅拉姆语、马耳他语、毛利语、马拉地语、蒙古语、挪威语（博克马尔）、新挪威语、奥里亚语、波斯语、波兰语、葡萄牙语、旁遮普语、罗马尼亚语、俄语、塞尔维亚语、斯洛伐克语、斯洛文尼亚语、西班牙语、斯瓦希里语、瑞典语、塔吉克语、泰米尔语、泰卢固语、泰语、土耳其语、乌克兰语、乌尔都语、维吾尔语、越南语
- 39种方言：东北话、贵州话、广东粤语、河南话、香港粤语、上海话、陕西话、天津话、台湾话、云南话、安徽话、福建话、甘肃话、广东普通话、湖北话、湖南话、江西话、山东话、山西话、四川话、广西话、海南话、重庆话、长沙话、杭州话、合肥话、银川话、郑州话、沈阳话、温州话、武汉话、昆明话、太原话、南昌话、济南话、兰州话、南京话、客家话、闽南语
语音合成
Qwen3-Omni：
- 29种多语言
- 7种方言
Qwen3.5-Omni：
- 36种多语言和方言
总结
Qwen3.5-Omni 是 Qwen 最新一代全模态大模型，通过原生多模态预训练实现了卓越的全模态感知与生成能力。主要亮点包括：
- 256k 长上下文：支持超过 10 小时音频输入和 400 秒音视频输入
- 215 项 SOTA：在音视频理解、音频理解、ASR、S2TT 等任务上取得全面领先
- 多语言能力大幅增强：113 种语种和方言的语音识别，36 种语种和方言的语音合成
- Audio-Visual Vibe Coding：根据音视频指令直接进行 coding
- 实时交互能力：语义打断、WebSearch、语音控制、音色克隆
- ARIA 技术：动态对齐文本与语音单元，提升语音合成自然度
Qwen3.5-Omni 为真实世界多模态智能体、自动驾驶理解和 embodied 场景打下了坚实基础。