超参数是什么？训练前由人设定、控制学习过程的参数

超参数（Hyperparameter）是机器学习中事先给定、用来控制学习过程的参数。与之相对，模型中的其他参数，比如神经网络中各节点之间的权重，是通过训练从数据中学到的。超参数是决定机器学习算法如何从数据中学习的配置选择，它们由用户设置，并在训练开始之前就确定下来。

参数和超参数的区别

可以用学开车来打个比方：模型参数就像学员在练习中逐渐掌握的驾驶技能和手感，是通过反复练习自己学会的；超参数则像是教练制定的训练计划：每天练多久、先练什么后练什么、在什么样的场地练习，这些是在开始练习之前就安排好的，会影响学员学得好不好、快不快，但不是学员自己从练习中学到的。

常见的超参数

与训练过程相关的：学习率，决定每次更新参数的步长，是最重要的超参数之一；批次大小，每次更新参数时使用多少个样本；训练轮数，把整个训练数据集过多少遍；优化器的选择及其参数，比如用 Adam 还是 SGD；学习率的调度策略，比如预热步数、衰减方式。与模型结构相关的：神经网络的层数、每层的神经元数量、激活函数的类型；决策树的最大深度、随机森林中树的数量；K 近邻算法中的 K 值。与正则化相关的：Dropout 的比例、权重衰减的强度，用来防止过拟合。在大模型的使用中，生成文本时的温度、top-p 等参数，也常被称为推理阶段的超参数。

怎么选择超参数

超参数的选择对模型的效果影响很大，但通常没有一个放之四海而皆准的最优值，需要通过实验来确定，这个过程叫超参数调优，也常被戏称为“调参”。调优时，通常在验证集上评估不同超参数组合的效果，而不能在测试集上调，以免对模型的真实性能产生过于乐观的估计。

常用的调优方法包括：手动调整，凭借经验和直觉逐步尝试；网格搜索，为每个超参数设定几个候选值，把所有的组合都试一遍，简单直接，但组合数量会随超参数的增多而爆炸式增长；随机搜索，在设定的范围内随机地抽取超参数的组合进行尝试，研究表明它往往比网格搜索更高效，因为通常只有少数几个超参数真正重要；贝叶斯优化，根据已经尝试过的结果，智能地推测下一组最有希望的超参数，用更少的尝试次数找到较好的组合，Optuna 等工具就提供了这类方法。对于训练成本极高的大模型，研究者常常先在小模型上探索超参数的规律，再推测出适合大模型的设置。