GPT 是什么？生成式预训练 Transformer 的来龙去脉

GPT（Generative Pre-trained Transformer，生成式预训练 Transformer）是 OpenAI 提出的一系列语言模型，也代表了一条技术路线。第一代 GPT 发布于 2018 年。名字中的三个词说明了它的特点：生成式，它的任务是生成文本；预训练，先在大规模文本数据上进行通用的训练；Transformer，基于 2017 年谷歌提出的 Transformer 架构，具体来说只使用了其中的解码器部分。

核心思路：预测下一个词

GPT 的训练目标非常简单：给定一段文字的前面部分，预测下一个词是什么。比如看到“今天天气很”，预测下一个词可能是“好”。通过在海量的文本上反复做这个练习，模型逐渐学到了语法、知识、常识，甚至一定的推理能力，因为要准确地预测下一个词，就必须理解前面在说什么。这种训练不需要人工标注，任何文本都可以拿来用，因此可以扩展到极大的数据规模。

发展历程

GPT-1（2018 年）：提出“先在大量无标注文本上预训练，再在具体任务上微调”的方法，参数约 1.17 亿，在多个自然语言理解任务上取得了很好的效果。GPT-2（2019 年）：参数扩大到 15 亿，展示了模型不经微调、直接通过提示就能完成多种任务的“零样本”能力，生成的文章流畅得令人惊讶，OpenAI 一度因担心被滥用而分阶段发布。GPT-3（2020 年）：参数达到 1750 亿，展现了强大的“上下文学习”能力：只要在提示里给几个例子，就能学会新任务，开启了提示工程的时代。之后，OpenAI 用指令微调和基于人类反馈的强化学习（RLHF）对 GPT-3.5 进行对齐，在 2022 年 11 月推出了 ChatGPT，引发了全球的生成式 AI 热潮。GPT-4（2023 年）是一个多模态模型，能力大幅提升，此后 OpenAI 又陆续推出了 GPT-4o、o 系列推理模型以及后续的新一代 GPT 模型。

影响

GPT 系列验证了一个重要的规律：模型规模、数据规模和计算量越大，语言模型的能力就越强，这就是“规模定律”。“GPT”这个名字也几乎成了大语言模型的代名词。如今主流的大语言模型，无论来自哪家公司，大多采用了与 GPT 类似的“仅解码器 Transformer 加预测下一个词”的基本架构。可以说，GPT 路线奠定了当今生成式 AI 的技术基础。