Qwen3-Next-80B-A3B
以 80B 总参数、3B 激活参数探索混合线性注意力和超稀疏 MoE 的架构预览。
以 80B 总参数、3B 激活参数探索混合线性注意力和超稀疏 MoE 的架构预览。
关键参数
- 上下文窗口
- 262K
- 总参数
- 80B
- 架构
- Hybrid
- 许可证
- Apache-2.0
版本谱系
变更历史
- 开放权重Qwen3-Next-80B-A3B 开放权重。原文 ↗
Qwen3-Next-80B-A3B
以 80B 总参数、3B 激活参数探索混合线性注意力和超稀疏 MoE 的架构预览。
以 80B 总参数、3B 激活参数探索混合线性注意力和超稀疏 MoE 的架构预览。