4月29日讯 今日凌晨，阿里巴巴发布了新一代通义千问 Qwen3 模型，一举登顶全球最强开源模型。
| Models | Layers | Heads (Q / KV) | Tie Embedding | Context Length |
| Qwen3-0.6B | 28 | 16 / 8 | Yes | 32K |
| Qwen3-1.7B | 28 | 16 / 8 | Yes | 32K |
| Qwen3-4B | 36 | 32 / 8 | Yes | 32K |
| Qwen3-8B | 36 | 32 / 8 | No | 128K |
| Qwen3-14B | 40 | 40 / 8 | No | 128K |
| Qwen3-32B | 64 | 64 / 8 | No | 128K |
| Models | Layers | Heads (Q / KV) | Experts (Total/ Activated) | Context Length |
| Qwen3-30B-A3B | 48 | 32 / 4 | 128 / 8 | 128K |
| Qwen3-235B-A22B | 94 | 64 / 4 | 128 / 8 | 128K |
这是国内首个“混合推理模型”，将“快思考”与“慢思考”集成进同一个模型，大大节省算力消耗。
经过后训练的模型，例如 Qwen3-30B-A3B，以及它们的预训练基座模型（如 Qwen3-30B-A3B-Base）已在各大平台上开放使用。同时，阿里云开源了两个 MoE 模型的权重：
- Qwen3-235B-A22B，一个拥有 2350 多亿总参数和 220 多亿激活参数的大模型
- Qwen3-30B-A3B，一个拥有约 300 亿总参数和 30 亿激活参数的小型 MoE 模型。
此外，六个 Dense 模型也已开源，包括 Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B 和 Qwen3-0.6B，均在 Apache 2.0 许可下开源。
声明：魔果智讯倡导尊重与保护知识产权。如发现本站文章存在版权等问题，烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至moguoai@yeah.net！我们将及时沟通与处理。
