月之暗面发布技术报告并开源 Moonlight 语言模型

月之暗面发布技术报告介绍基于 Muon 优化器训练的 3B 激活、16B 总参数 MoE 语言模型 Moonlight，并在 GitHub 和 Hugging Face 开源预训练与指令微调权重。