MiniMax-M1
以线性和 Softmax 混合注意力实现 1M 上下文的开放推理模型。
以线性和 Softmax 混合注意力实现 1M 上下文的开放推理模型。
关键参数
- 上下文窗口
- 1M
- 总参数
- 456B
- 架构
- Hybrid
- 许可证
- Apache-2.0
版本谱系
变更历史
- 开放权重MiniMax-M1 开放 1M 上下文推理权重。原文 ↗
MiniMax-M1
以线性和 Softmax 混合注意力实现 1M 上下文的开放推理模型。
以线性和 Softmax 混合注意力实现 1M 上下文的开放推理模型。