ScaleNet 是什么？在已有模型上低成本“长大”
TL;DRScaleNet 是北京理工大学、华为诺亚方舟实验室和香港城市大学在 2025 年 10 月提出的视觉 Transformer 扩展方法，通过在预训练模型中插入额外层并共享参数，以极少的新增参数快速扩大模型。
ScaleNet 是一种低成本扩展视觉 Transformer 模型的方法，由北京理工大学、华为诺亚方舟实验室和香港城市大学等机构的研究人员在 2025 年 10 月提出，论文标题是《ScaleNet：用增量参数扩展预训练神经网络》。
问题：大模型好，但训练太贵
视觉 Transformer（ViT）的研究表明，模型越大，效果往往越好。但从头训练一个大模型需要大量的计算资源和时间，代价高昂。很多时候，我们已经有了一个训练好的中等规模模型，能不能在它的基础上“长大”，而不是推倒重来？
ScaleNet 怎么做
ScaleNet 的思路是在已有的预训练 ViT 模型中插入额外的层，让模型变深。关键在于，新插入的层并不是从零开始的全新参数，而是通过逐层的权重共享，复用原有预训练层的参数。这样，模型的深度增加了，但新增的参数量微乎其微。
当然，完全共享参数的新层和原来的层一模一样，作用有限。为了让新层能学到不同的东西，ScaleNet 为每一层引入了少量轻量级的调整参数，让共享参数的各层可以有所差异，发挥不同的作用。这种设计在“参数几乎不增加”和“扩展后的模型有足够的表达能力”之间取得了平衡。
效果和意义
论文报告，用这种方式扩展后的模型，在图像分类等任务上明显优于原模型，同时训练成本远低于从头训练一个同样深度的模型，而且这种方法也展示了扩展到下游视觉任务的潜力。ScaleNet 为“如何在有限的算力下获得更大、更强的模型”提供了一个经济高效的方案，对于算力资源有限的研究团队和需要在已有模型基础上迭代的工业场景，都有参考价值。