怎么在Python环境下针对不平衡数据集进行SMOTE过采样处理？

使用SMOTE前需确保数据干净且类型正确：X必须为二维数值型数组，剔除非特征列、编码分类变量、处理缺失值；k_neighbors应小于少数类样本数，random_state需固定；训练测试集须严格分离，仅对训练集重采样，并验证合成样本分布合理性。

直接用 SMOTE 前必须确保数据干净且类型正确

很多人在调用 fit_resample() 时直接报错，比如 ValueError: Expected 2D array, got 1D array instead 或 TypeError: A sparse matrix was passed, but dense data is required，根本原因不是SMOTE本身有问题，而是输入数据没准备好。

• X 必须是二维数组（pandas.DataFrame 或 numpy.ndarray），不能是 pandas.Series 或一维向量
• 所有列必须是数值型——分类变量（如 gender、product_type）必须先做 pd.get_dummies() 或 OneHotEncoder 编码，不能留 object 类型
• 缺失值要提前处理：SMOTE 不接受 NaN，否则会抛出 ValueError: Input contains NaN
• 避免混入 ID、时间戳、文本等非特征列——这些列在 X 中必须被 drop() 掉，否则插值结果无意义

SMOTE(random_state=42, k_neighbors=5) 的参数怎么选

k_neighbors 是最常被忽略但影响极大的参数。默认值是 5，但它不是万能的：当少数类样本总数 k_neighbors 时（比如只有 3 个欺诈样本），SMOTE 会直接报错 ValueError: Expected n_neighbors <= n_samples。

• 若少数类样本数 < 20，建议设 k_neighbors=3 或 2；太小会导致合成样本多样性下降，太大则无法运行
• random_state 必须固定，否则每次运行生成的合成样本不同，模型无法复现
• 不要盲目增大 k_neighbors 来“提高质量”——邻居范围过大，可能把分布边缘甚至噪声点拉进来，反而稀释少数类真实模式
• 如果特征维度很高（>50），考虑先用 PCA 降维再跑 SMOTE，否则欧氏距离失效，邻居选择失真

训练集和测试集必须严格分离，不能对全量数据用 fit_resample()

这是线上模型崩坏的最高发原因。有人把整个 df 丢进 SMOTE，再切训练/测试集，导致测试集里混入了基于自身信息合成的“假样本”，评估结果严重虚高。

• 务必先用 train_test_split(..., stratify=y) 切分，再只对 X_train 和 y_train 调用 smote.fit_resample()
• y_test 绝对不能参与任何重采样——它必须保持原始分布，才能反映真实业务场景下的泛化能力
• 如果要用交叉验证，得把 SMOTE 包进 Pipeline，确保每次 fold 的重采样独立发生在训练折内
• 注意：stratify=y 参数不能省，否则切分后训练集可能不含少数类样本，后续 SMOTE 直接失败

过采样后别只看 value_counts() 就以为万事大吉

分布数字平衡了，不代表模型效果就变好。常见陷阱是合成样本挤在少数类边界附近，导致决策面被强行“撑开”，反而降低鲁棒性。

立即学习“Python免费学习笔记（深入）”；

• 用 scatter_matrix 或 PCA 投影画图，观察合成样本是否明显偏离原始少数类簇（尤其是离群点附近大量聚集）
• 检查 SMOTE 后的 X_res 是否出现极端异常值——插值本身不会越界，但如果原始数据有未清洗的离群点，合成点可能放大其影响
• 务必用 classification_report(y_test, y_pred) 对比召回率（recall）和 F1，而不是准确率（accuracy）；前者才反映对少数类的真实捕捉能力
• 如果合成后模型在验证集上 precision 暴跌（比如从 0.8 降到 0.3），说明新样本引入了大量误判风险，应降低采样比例或换用 ADASYN

实际操作中最容易被跳过的环节，是验证合成样本的几何合理性——它不体现在代码行数里，却直接决定你花几小时调参的结果到底能不能上线。