如何有效缓解表格数据模型的过拟合问题

本文针对小样本（约300条）表格数据建模中常见的过拟合现象，系统梳理特征工程、标准化、相关性分析等关键干预手段，并结合 fastai 实践给出可落地的优化方案。

本文针对小样本（约300条）表格数据建模中常见的过拟合现象，系统梳理特征工程、标准化、相关性分析等关键干预手段，并结合 fastai 实践给出可落地的优化方案。

在仅有约300条样本的表格数据建模任务中，即使已启用 early stopping 和 weight decay，模型仍出现明显过拟合（如验证损失在第2轮后剧烈攀升至6.67），这通常不是训练策略的问题，而是数据层面和特征层面的根本性瓶颈。此时，模型复杂度远超数据信息承载能力，必须从特征质量入手进行“减法式优化”。

? 第一步：识别并剔除高度相关的冗余特征

多重共线性是小样本过拟合的核心诱因之一。当两个或多个数值型特征呈强线性相关（|r| > 0.85），它们会放大噪声敏感性，导致模型在训练集上拟合虚假模式。务必执行 Pearson 相关性分析：

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# 提取全部数值型特征（自动过滤非数值列）
numeric_df = df.select_dtypes(include=[np.number])

# 计算 Pearson 相关矩阵
corr_matrix = numeric_df.corr(method='pearson')

# 可视化热力图（便于快速定位高相关对）
plt.figure(figsize=(10, 8))
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm', center=0, 
            fmt='.2f', square=True, cbar_kws={"shrink": .8})
plt.title("Pearson Correlation Matrix")
plt.show()

# 自动筛选强相关特征对（阈值设为0.85）
high_corr_pairs = []
for i in range(len(corr_matrix.columns)):
    for j in range(i+1, len(corr_matrix.columns)):
        if abs(corr_matrix.iloc[i, j]) > 0.85:
            high_corr_pairs.append((
                corr_matrix.columns[i], 
                corr_matrix.columns[j], 
                corr_matrix.iloc[i, j]
            ))
print("Highly correlated feature pairs (|r| > 0.85):")
for feat_a, feat_b, corr in high_corr_pairs:
    print(f"{feat_a} ↔ {feat_b}: {corr:.3f}")

操作建议：对每组高相关特征，保留业务解释性更强、缺失率更低或与目标变量（dep_var）单变量相关性更高的一个，其余果断移除。切忌保留全部——这是小样本场景下最高效的“正则化”。

⚖️ 第二步：统一且稳健的数值特征缩放

您当前的 custom_normalize 函数基于自定义范围（range_）进行线性缩放，但若 range_ 未严格基于训练集统计量（如 min/max 或 mean/std），极易引入数据泄露，且无法适配测试集分布。应改用 fit-transform 模式 的标准化：

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# 推荐方案：StandardScaler（均值为0，方差为1），对大多数树/神经网络模型更鲁棒
scaler = StandardScaler()
cont_vars_scaled = scaler.fit_transform(df[cont_vars])
df[cont_vars] = pd.DataFrame(cont_vars_scaled, columns=cont_vars, index=df.index)

# 若需 Min-Max 缩放（0~1区间），则：
# scaler = MinMaxScaler()
# ... 同上

⚠️ 关键注意：

• fit() 必须仅在训练集上执行（即 splits[0] 对应的索引子集），避免用验证/测试数据污染缩放参数；
• 在 TabularPandas 中，应将 Normalize 替换为上述显式缩放步骤，移除所有 partial(custom_normalize, …) 自定义处理器——fastai 的 Normalize 默认使用训练集统计量，但您的自定义逻辑可能破坏该机制。

?️ 第三步：精简模型结构与增强正则化

小样本下，模型容量必须大幅降低：

• 减少嵌入维度：对类别特征，显式控制 emb_szs（如 tabular_learner(…, emb_szs={cat_var: (n_emb, 2)})）；
• 降低网络宽度：通过 layers 参数指定更窄的隐藏层（如 layers=[200, 100] 而非默认 [500, 250]）；
• 增强 dropout：tabular_learner(…, ps=[0.3, 0.2])（首层 dropout 率提高至 0.3+）；
• 调高 weight decay：尝试 wd=0.2~0.5（而非 0.1），尤其配合 lr_find() 后选择较低学习率（如 1e-3）。

✅ 最终检查清单

• [ ] 特征相关性矩阵已审查，冗余特征被移除；
• [ ] 数值特征使用 StandardScaler 在训练集上 fit 后 transform 全量数据；
• [ ] TabularPandas 的 procs 中移除了所有自定义归一化函数，仅保留 Categorify, FillMissing；
• [ ] tabular_learner 显式设置了更小的 layers、更高的 ps 和 wd；
• [ ] 验证集划分采用 RandomSplitter 且未打乱时序（若数据有时序性，需改用 IndexSplitter）。

过拟合的本质是模型学到了数据中的随机波动而非真实规律。在小样本场景下，最好的正则化不是更复杂的算法，而是更干净、更少、更标准化的特征。让数据本身说话——先做减法，再谈拟合。