昆

Skywork-MoE

总参数量 146B 且每次激活 22B 的高性能 MoE 架构大模型

昆仑万维· 2024-06-10 发布 ·2024-06-10 开放使用 ·语言模型 ·开源 ·Skywork 系列

昆仑万维于 2024-06-10 昆仑万维发布并开源混合专家模型 Skywork-MoE 技术报告。

关键参数

总参数量: 146B
激活参数量: 22B

来源

官方公告 ↗昆仑万维发布并开源混合专家模型 Skywork-MoE 技术报告 ↗

昆仑万维的其他模型

Skywork-13B2023-10-30