表格学习是什么？处理 Excel 式数据的机器学习

表格学习（Tabular Learning）是专门处理表格数据的机器学习方法。表格数据就是我们在 Excel 和数据库里最常见的那种：每一行是一个样本，比如一个客户、一笔交易；每一列是一个特征，比如年龄、收入、消费金额、所在城市。表格学习要从这些数据里学会分类（这个客户会不会流失）、回归（这套房子值多少钱）和预测。银行风控、保险定价、电商推荐、医疗诊断、工业质量预测，大量真实业务的数据都是表格形式。

树模型长期称王

在图片、文本、语音上，深度学习早已全面占优；但在表格数据上，梯度提升决策树（GBDT）和随机森林这类基于树的方法长期占据主导地位，XGBoost、LightGBM、CatBoost 是数据竞赛和工业界的常用工具。原因在于表格数据的特点：特征类型混杂（数值、类别都有），各列含义完全不同，没有图片那种空间结构，也没有文本那种顺序结构，而且样本量往往不大。树模型天然适合处理这种异构、不规则的数据，训练快，也比较好解释。

深度学习的尝试

研究者一直在探索用神经网络处理表格数据。2019 年谷歌提出的 TabNet 是一个代表：它用序列注意力机制，在每一步决策时选择要关注哪些特征，把学习能力集中在最关键的特征上，既提高了效率，也能给出可解释的特征重要性。论文显示，它在很多数据集上超过了其他神经网络和决策树变体。此后还有 FT-Transformer 等方法。

表格基础模型

近年的新趋势是表格基础模型，比如 TabPFN：在大量合成的表格数据上预训练一个 Transformer，遇到新的小数据集时，不用训练，直接把数据作为上下文输入就能给出预测。在小样本场景下，它的效果可以和精心调参的树模型媲美。大语言模型也开始被用来理解表格、写分析代码。

实践中的建议是：先用 LightGBM 这类树模型建一个基线，它往往已经很强；数据量很大或需要和文本、图片等其他数据融合时，再考虑深度学习方法。