调参是什么？反复尝试找到让模型效果最好的超参数

调参（Parameter Tuning）在机器学习中通常指的是超参数调优：通过反复地尝试和比较，找到一组能让模型取得最好效果的超参数设置。这是训练机器学习模型过程中一项常见而重要的工作。由于它常常需要反复试验、依赖经验甚至运气，在中文的技术圈子里被戏称为“炼丹”，调参的人被称为“炼丹师”。

调的是什么参数

机器学习模型中有两类参数。一类是模型参数，比如神经网络中的权重和偏置，它们是模型在训练过程中从数据中自动学到的，不需要人工设定。另一类是超参数，它们在训练开始之前就需要由人来设定，控制着模型的结构和学习的过程。调参调的就是超参数。

常见的超参数包括：学习率，决定每次更新参数的幅度，通常是最重要的超参数，太大会导致训练不稳定，太小则训练太慢；批次大小，每次更新使用多少个样本；训练的轮数；神经网络的层数和每层的神经元数量；正则化的强度，比如 Dropout 的比例、权重衰减的系数；优化器的选择及其参数；对于决策树和梯度提升树，则有树的最大深度、树的数量、每个叶子节点的最少样本数等。

怎么调参

基本的流程是：选定一组超参数，用训练集训练模型，在验证集上评估效果，再根据结果调整超参数，重复这个过程，最后选出在验证集上表现最好的那一组。需要注意的是，调参必须在验证集上进行，最终的测试集只能在所有调整都完成之后用来评估一次，否则就相当于在用测试题来“备考”，得到的效果会过于乐观。数据较少时，常用交叉验证来更可靠地评估每一组超参数的效果。

常用的调参方法有：手动调参，凭经验和直觉逐个调整，适合有经验的人快速找到大致的方向；网格搜索，为每个超参数设定几个候选的值，把所有的组合都试一遍，简单全面，但当超参数较多时组合数量会急剧增加；随机搜索，在设定的范围内随机地抽取组合进行尝试，2012 年 James Bergstra 和 Yoshua Bengio 的研究表明，它通常比网格搜索更高效，因为往往只有少数几个超参数对结果影响很大，随机搜索能在这些重要的超参数上尝试更多不同的值；贝叶斯优化，根据已经尝试过的结果建立一个模型，来预测哪些超参数组合最有可能取得好的效果，并优先尝试它们，用更少的尝试次数找到较好的结果，Optuna、Hyperopt 等工具提供了这类方法；此外还有基于进化算法的方法，以及可以提前终止效果不好的尝试、节省计算资源的 Hyperband 等方法。

调参的经验

先确定最重要的超参数，比如学习率，再调整其他的；学习率等跨越多个数量级的超参数，应该在对数尺度上取值，比如尝试 0.1、0.01、0.001，而不是 0.1、0.2、0.3；先在较小的数据或较少的训练轮数上快速地筛选，再对有希望的组合进行完整的训练；记录好每一次实验的设置和结果。也要认识到，调参带来的提升往往是有限的，与其花大量的时间调参，有时不如去改进数据的质量或者重新思考问题本身。对于训练成本极高的大模型，不可能反复地进行大规模的调参，研究者通常会先在小模型上探索超参数的规律，再推算出适合大模型的设置。