XVERSE-MoE-A4.2B
元

XVERSE-MoE-A4.2B

25.5B 稀疏激活 4.2B 混合专家模型

元象· 2024-04-02 发布 ·2024-04-02 开放使用 ·语言模型 ·开源 ·XVERSE-MoE 系列

元象 于 2024-04-02 元象发布并开源混合专家模型 XVERSE-MoE-A4.2B。

关键参数

总参数量
25.5B
激活参数量
4.2B
预训练词元量
2.7T

来源