MiniMax-Text-01
采用 Lightning Attention 的混合 MoE，456B 总参数、45.9B 激活；训练上下文为 1M，并可外推至 4M。
采用 Lightning Attention 的混合 MoE，456B 总参数、45.9B 激活；训练上下文为 1M，并可外推至 4M。
关键参数
- 上下文窗口
- 1M
- 总参数
- 456B
- 架构
- Hybrid
版本谱系
变更历史
- 开放权重MiniMax-Text-01 开放权重。原文 ↗
MiniMax-Text-01
采用 Lightning Attention 的混合 MoE，456B 总参数、45.9B 激活；训练上下文为 1M，并可外推至 4M。
采用 Lightning Attention 的混合 MoE，456B 总参数、45.9B 激活；训练上下文为 1M，并可外推至 4M。