大语言模型是什么？读过海量文本、能理解和生成语言的 AI

大语言模型（Large Language Model，LLM）是一种在海量文本数据上训练出来的、规模巨大的深度学习模型。它能够理解和生成人类的语言，完成对话、写作、翻译、总结、编程、推理等各种各样的任务。ChatGPT、Claude、Gemini、DeepSeek、通义千问、文心一言等都是基于大语言模型的产品。

“大”在哪里

大语言模型的“大”主要体现在两个方面：参数量大，参数是模型在训练中学到的数值，相当于模型的“知识”和“能力”的载体，大语言模型的参数量通常在几十亿到上万亿之间；训练数据大，它们在数万亿个 token 的文本上进行训练，这些文本来自网页、书籍、论文、代码等。研究者发现，随着模型规模、数据量和计算量的增加，模型的能力会稳定地提升，这被称为缩放定律；而且当模型大到一定程度后，会表现出一些小模型不具备的能力，比如根据少量示例学习新任务、进行多步骤的推理。

它是怎么训练出来的

预训练：这是最耗费算力的阶段。模型在海量的文本上进行训练，任务很简单：根据前面的内容预测下一个词。为了做好这件事，模型必须学会语法、事实知识、常识，乃至一定的推理能力。预训练之后的模型被称为基座模型，它很会“接着往下写”，但还不太会按照用户的指令来回答问题。

后训练：通过指令微调，用大量“指令和理想回答”的示范数据进行训练，让模型学会理解和遵循用户的指令；再通过基于人类反馈的强化学习（RLHF）等对齐方法，让模型的回答更有帮助、更诚实、更安全。近年来，还通过大规模的强化学习训练模型在回答之前进行深入的思考，诞生了擅长数学、编程等复杂推理的推理模型。

技术基础

如今的大语言模型几乎都基于 2017 年谷歌提出的 Transformer 架构，核心是自注意力机制，能够有效地捕捉文本中词语之间的关系，并且可以高度并行地进行训练。大多数大语言模型采用只有解码器的结构，以自回归的方式一个 token 接一个 token 地生成文字。

发展历程

2018 年，OpenAI 发布了 GPT，谷歌发布了 BERT，开启了预训练语言模型的时代。2020 年，拥有 1750 亿参数的 GPT-3 展现了惊人的少样本学习能力。2022 年 11 月，ChatGPT 发布，迅速吸引了上亿用户，引发了全球范围的大模型热潮。此后，各大科技公司和研究机构纷纷推出自己的大模型，开源模型如 Meta 的 Llama 系列、DeepSeek、通义千问等也迅速发展，大模型从只处理文字发展到能够理解图像、语音和视频的多模态模型，并发展出能够调用工具、自主完成复杂任务的 AI 智能体。

局限

大语言模型也有明显的局限：可能会产生幻觉，一本正经地编造事实；知识有截止日期；可能带有训练数据中的偏见；训练和运行的成本很高；以及在一些需要精确计算和严密逻辑的任务上仍会出错。在重要的场合使用时，需要对它的输出进行核实。