上采样是什么？放大数据的分辨率，或者增加少数类的样本

上采样（Upsampling）是一个在不同领域有不同含义的术语。在信号处理和图像处理中，它指的是提高数据的采样率或分辨率，比如把一张小图片放大成一张大图片；在机器学习的数据处理中，它指的是增加某一类样本的数量，以缓解类别不平衡的问题，这时也常被称为过采样。与之相对的操作叫下采样。

图像和信号中的上采样

在图像中，上采样就是把图像的尺寸放大，比如把一张 100 乘 100 像素的图片变成 200 乘 200 像素。放大之后，多出来的像素需要通过某种方法来“填”出来。传统的方法是插值：最近邻插值，直接复制离得最近的那个像素的值，速度最快，但放大后的图像会出现明显的锯齿和马赛克；双线性插值，根据周围四个像素的值按距离加权平均，图像更平滑，但会有些模糊；双三次插值，参考周围十六个像素，效果更好一些。在音频处理中，上采样是提高音频的采样率，比如从每秒 22050 个采样点提高到 44100 个。需要注意的是，这些传统的插值方法并不能真正地“创造”出原本没有的细节，放大后的图像只是看起来更大，并不会变得更清晰。

深度学习中的上采样

在深度学习中，很多任务需要神经网络输出与输入同样大小、甚至更大的图像。比如图像分割要为每一个像素标注类别，图像生成要输出完整的图片。但卷积神经网络在提取特征的过程中，通常会通过池化等下采样操作，逐步缩小特征图的尺寸。为了恢复到原来的分辨率，就需要上采样。常用的方法包括：先用插值放大，再接一个卷积层进行调整；转置卷积，有时也被不太准确地叫作反卷积，它是一种可以学习的上采样方式，由网络自己学会如何放大，但处理不当可能产生棋盘状的伪影；像素重排（Pixel Shuffle），先用卷积生成多个通道的特征，再把它们重新排列成更大尺寸的图像，在超分辨率任务中很常用。经典的图像分割网络 U-Net 就采用了“先下采样再上采样”的结构：编码器逐步缩小图像、提取特征，解码器再逐步上采样恢复分辨率，并通过跳跃连接把编码器中保留的细节信息传过来，从而得到精确的分割结果。

超分辨率是一个专门研究上采样的任务：用深度学习模型把低分辨率的图像恢复成高分辨率的图像，模型能够根据从大量图片中学到的规律，“推测”并补全合理的细节，效果远远好于传统的插值。如今，手机拍照、视频增强、老照片修复，以及游戏中的画面超分技术，比如英伟达的 DLSS，都大量使用了这类技术。

机器学习中的上采样

在分类问题中，如果某一类的样本远远少于其他类，比如欺诈交易只占所有交易的极少一部分，模型可能会倾向于忽视少数的类别。上采样，也就是过采样，通过增加少数类的样本数量来平衡各个类别：最简单的方法是随机地复制少数类的样本；更常用的是 SMOTE 方法，它在少数类的样本之间进行插值，合成出新的样本，而不是简单地复制。与之相对的下采样是减少多数类的样本数量。需要注意的是，上采样应该只在训练集上进行，不能在划分验证集和测试集之前进行，否则复制或合成的样本会“泄露”到测试集中，导致对模型效果的估计过于乐观。