GPT-2
O

GPT-2

将无监督语言建模展示为可迁移的通用任务学习,并采用分阶段权重发布。

OpenAI· 2019-02-14 发布 ·语言模型 ·开源 ·GPT 系列 ·历史版本

GPT-2 把“规模扩大即可涌现通用语言能力”的方向带入公众视野,也让模型发布治理成为技术史的一部分。

关键参数

上下文窗口
1K
总参数
1.5B
架构
Dense
许可证
Modified MIT

版本谱系

变更历史

  1. 公布OpenAI 公布 GPT-2 并启动分阶段发布。原文 ↗
  2. 开放权重GPT-2 最大的 1.5B 参数权重正式公开。原文 ↗

来源