ERNIE 3.0
百

ERNIE 3.0

融合自回归与自编码网络的百亿参数知识增强预训练模型。

百度文心· 2021-07-05 发布 ·语言模型 ·开源 ·ERNIE 系列

百度文心 于 2021-07-05 发布大规模知识增强预训练模型 ERNIE 3.0。

关键参数

参数量
10B
训练数据规模
4TB 混合语料与知识图谱

来源